Scrapy简介
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
Windows下安装Scrapy
直接通过pip安装
1 |
<span style="font-size: 13px;">pip <span style="color: #f92672; background: rgba(0, 0, 0, 0); display: inline; width: 51px; text-decoration: none solid #f92672; font-weight: 400; font-style: normal;">install</span> scrapy</span> |
当然不是这么简单的了,会出现错误,例如下面两个错误:


经常看我文章的朋友对这个错误非常熟悉,没错,和我们安装wordcloud是一样的。
解决方法
直接访问下面的网址,根据你的电脑和py版本下载对应的whl文件
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载完成后,把whl文件放在pip路径下,输入下面的代码,记住代码的whl文件名一定是适合你的文件名,我只是举例:
1 |
pip install Twisted-18.4.0-cp36-cp36m-win32.whl |
运行后会显示安装成功

然后我们查一下scrapy的版本
1 |
scrapy version -v |
原文始发于微信公众号( 扎心了Python ):Scrapy的安装
发布者:秦子帅,转转请注明出处:http://qinzishuai.cn/1336/93fcfb3992/