所在的位置: C++ >> C++市场 >> python实用的Scrapy框架安

python实用的Scrapy框架安

继「python」快速入门Scrapy框架的5个执行模组及架构——第一篇文章,了解Scrapy框架的5个主要模组相互之间的关系与执行流程后,本文将带大家在Windows环境中,安装Scrapy框架,并且提示可能会遇到的错误该如何解决,最后,建立属于您的第一个Scrapy专案,来一窥其中的档案结构。重点包含:

安装Scrapy框架建立Scrapy专案Scrapy专案结构

一、安装Scrapy框架

首先,Scrapy框架的安装方式,就像安装Python的套件(Package)一样,透过以下的指令即可进行安装:

$pipinstallscrapy

由于Scrapy框架会需要MicrosoftVisualC++14.0来进行编译,所以,在安装的过程中,如果发生以下的「MicrosoftVisualC++14.0isrequired」错误信息:

则需要前往其中所提示的网址来进行安装,也就是MicrosoftVisualStudio下载的网页,如下图:

MicrosoftVisualC++14.0对应到的是VisualStudio,所以往下可以看到「旧版下载」的按钮,如下图:

接着,往下可以看到「可转散发套件及建置工具」,如下图:

因为我们仅需要MicrosoftVisualC++14.0建置工具,所以并不需要安装整个VisualStudio,点击「可转散发套件及建置工具」后,选择「MicrosoftBuildToolsUpdate3」来下载,如下图:

下载完成,开启时会看到如下图的画面,直接点击安装即可:

安装后,就可以再次使用pip套件管理工具安装Scrapy框架,即可顺利安装。当然,如果一开始安装就成功,代表电脑环境符合Scrapy框架的所需条件,就无需进行MicrosoftVisualC++14.0的安装步骤。

而要确认Scrapy框架是否有安装成功,可以先在命令提示字元视窗中输入scrapy指令,如下图:

其中有一个「bench」指令,用来快速执行Scrapy框架的基准测试,如下:

$scrapybench

执行后如果没有显示错误信息,代表安装成功。

二、建立Scrapy专案

Scrapy框架安装完成后,接下来,就可以建立Scrapy专案来开发网页爬虫。本文以新闻网页爬虫专案为例,在桌面先建立一个「news_scraper」资料夹,接着,开启VisualStudioCode,打开「news_scraper」资料夹,在Terminal视窗中即可利用以下的指令来建立Scrapy专案:

$scrapystartproject你的专案名称.你的专案名称.

执行结果

以上指令的「.」意思是在目前的目录下,建立Scrapy专案。而执行结果则是告诉我们专案建立成功,并且引导如何开发第一个Python网页爬虫,这部分会在文章来和大家分享。

三、Scrapy专案结构

这时候,可以在「news_scraper」资料夹中看到Scrapy专案的档案结构:

其中各个档案的功能说明如下:

spiders资料夹:用来存放Python网页爬虫代码的地方。

items.py:定义想要爬取或储存的资料栏位。middlewares.py:定义「spiders与引擎(ENGINE)中间件」及「引擎(ENGINE)与下载器(DOWNLOADER)中间件」。pipelines.py:定义items资料的后续处理,像是清理、储存至资料库或档案等。settings.py:Scrapy专案设定档。scrapy.cfg:Scrapy专案部署设定档。

四、小结

经过本文的说明,相信大家都能够将Scrapy框架安装起来,另外,透过建立Scrapy专案的方式,来了解其中各个档案所负责的工作,将有助于未来在开发的过程中,能够得心应手,希望对于想学习Scrapy框架的读者有所帮助,也欢迎分享给身边有在学习Scrapy框架的朋友们,有碰到任何问题,欢迎在底下留言和我分享~

正版现货精通Python爬虫框架Scrapypython3scrapy教程Scrapy入门京东查看已下架


转载请注明:http://www.aierlanlan.com/rzdk/2662.html