利用scrapy抓取豆瓣top250数据并进行分析学*笔记

发布于:2021-10-17 04:47:36

????????上一篇爬虫文章记录了利用scrapy爬去西安天气数据,本文主要是记录在学*中利用scrapy爬去豆瓣top250的电影并进行分析数据过程。


?


1.建立一个爬虫项目

scrapy startproject douban
2.在spider中建立douban爬虫文件


3.配置items.py文件


4.配置settings.py文件

USER_AGENT换成自己的电脑信息


5.开始爬虫


这是会在屏幕出现如图所示:说明爬虫成功



7.利用python进行数据处理

1.读数据



2.常规统计



?


3.对quote进行分词处理并利用词云展示




电影、世界、人生、我们、永远、上帝、爱情、超越为经常出现的词


至此利用scrapy爬取数据并利用python预处理基本完成,后续学*更深入的知识,补充并完善自己的对爬虫知识的理解


?

相关推荐

最新更新

猜你喜欢