怎么抓取一个股票的数据(股票数据爬取)

欢迎点击右上角关注小编,除了分享技术文章之外还有很多福利,私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

原理分析

Scrapy框架如下图所示:

怎么抓取一个股票的数据

我们主要进行两步操作:

(1) 首先需要在框架中编写一个爬虫程序spider,用于链接爬取和页面解析;

(2) 编写pipelines,用于处理解析后的股票数据并将这些数据存储到文件中。

代码编写

步骤:

(1) 建立一个工程生成Spider模板

打开cmd命令行,定位到项目所放的路径,输入:scrapy startproject BaiduStocks,此时会在目录中新建一个名字为BaiduStocks的工程。再输入:cd BaiduStocks进入目录,接着输入:scrapy genspider stocks baidu.com生成一个爬虫。之后我们可以在spiders/目录下看到一个stocks.py文件,如下图所示:

怎么抓取一个股票的数据

(2) 编写Spider:配置stocks.py文件,修改返回页面的处理,修改对新增URL爬取请求的处理

打开stocks.py文件,代码如下所示:

怎么抓取一个股票的数据

将上述代码修改如下:

怎么抓取一个股票的数据

(3) 配置pipelines.py文件,定义爬取项(Scraped Item)的处理类

打开pipelinse.py文件,如下图所示:

怎么抓取一个股票的数据

对上述代码修改如下:

怎么抓取一个股票的数据

(4) 修改settings.py,是框架找到我们在pipelinse.py中写的类

在settings.py中加入:

怎么抓取一个股票的数据

到这里,程序就完成了。

(4) 执行程序

在命令行中输入:scrapy crawl stocks

本文由 hot金融 作者:hot金融 发表,其版权均为 hot金融 所有,文章内容系作者个人观点,不代表 hot金融 对观点赞同或支持。如需转载,请注明文章来源。

发表评论