博客
关于我
爬取了 36141 条评论数据,解读 9.5 分的《海王》是否值得一看
阅读量:290 次
发布时间:2019-03-01

本文共 965 字,大约阅读时间需要 3 分钟。

《海王》观影数据分析与可视化

作为一个Python项目初次实践,我决定基于《海王》这部电影的评论数据进行分析。这项工作不仅让我对猫眼评论爬取的技术有了深入了解,还通过数据可视化揭示了观众对这部电影的真实反馈。

一、数据获取

为了获取评论数据,我首先需要从猫眼的移动端评论接口获取数据。由于PC端只显示10条热门评论,数据量显然不足,故选择了从移动端接口爬取。通过调整offset偏移量和日期参数,可以逐步获取所有评论。

接口调用

使用requests模块发送HTTP请求,伪装成手机浏览器,获取评论数据。请求成功后,返回的JSON数据包含评论列表和总数。为了获取完整评论数据,我通过减少最后一条评论的时间,逐步爬取所有评论。

数据解析

解析返回的JSON数据后,提取昵称、地区、评论内容、分数、评论时间等字段。将这些数据存储到本地文本文件中,形成结构化的评论数据集。

数据保存

通过循环获取评论数据并写入文件中,确保每条评论都完整保存。最终获取了36141条评论数据,为后续分析奠定了基础。


二、数据可视化

为了更直观地呈现数据,我使用pyecharts进行数据可视化。以下是主要的可视化结果:

1. 观影城市分布

通过echarts绘制地理坐标图,展示《海王》在各地的观影人数分布。虽然provincescitiescountries模块支持的地区名称与实际数据不一致,但通过定制化的geo图表实现了城市分布的可视化。

2. 观众来源排行

以柱状图形式展示观众来源的排行,直观反映哪些地区的观众占比最高。通过Bar图表,清晰呈现前20个光影人数的城市和数量。


三、用户评论:词云图

为了深入了解观众对电影的喜好,使用wordcloud工具生成评论词云。通过对评论进行分词处理(jieba),提取关键词,最后生成大众对电影的综合评价词云。

生成流程
  • 读取评论数据。
  • 使用jieba进行分词,去除无关停用词。
  • 生成词云,选择合适的背景图和字体。
  • 保存词云图像。

  • 四、总结

    从评论数据来看,《海王》在观众中拥有很高的观影值。通过爬取、解析、可视化和词云分析,我对猫眼评论接口的使用有了更深入的理解,同时也掌握了基本的数据处理和可视化技能。

    这一项目的完成,不仅验证了技术实现的可行性,也为后续的数据分析和可视化工作积累了宝贵经验。

    转载地址:http://gtla.baihongyu.com/

    你可能感兴趣的文章
    Python 列表删除相同的元素
    查看>>
    Python 初学者需要知道的四条建议
    查看>>
    Python 判断字符串是否包含子字符串
    查看>>
    python 判断当前时间是否为零点
    查看>>
    python 利用pandas读取本地中CSV文件的指定列 列名重命名 并保存回本地
    查看>>
    python 利用pyspark读取HDFS中CSV文件的指定列 列名重命名 并保存回HDFS
    查看>>
    python 利用pyttsx3文字转语音
    查看>>
    python 利用已有Ner模型进行数据清洗合并
    查看>>
    python 到大数据开发工程师_如何成为一个大数据开发工程师?
    查看>>
    python 加密解密(base64, AES)
    查看>>
    Python 和Java 哪个更适合做自动化测试?
    查看>>
    python 图片转ico
    查看>>
    python 图片转文字、语音转文字、文字转语音保存音频并朗读
    查看>>
    python 在包含类似字符\x16、\x12、\x某某的数组中将以\x开头的字符找出来的方法
    查看>>
    Python 在并行进程之间共享字典
    查看>>
    Python 垃圾收集器文档
    查看>>
    python 基于 wordcloud + jieba + matplotlib 生成词云
    查看>>
    python 基于detectron或mask_rcnn的mask遮罩区域进行图片截取
    查看>>
    Python编程:Tkinter图形界面设计(2)
    查看>>
    Python 基础 - Day 5 Learning Note - 模块 之 标准库:time (1)
    查看>>