Scrapy爬虫入门教程二

Scrapy爬虫入门教程一
Scrapy爬虫入门教程二
Scrapy爬虫入门教程三
开发环境:
Python 3.6.0 版本 (当前最新)
Scrapy 1.3.2 版本 (当前最新)

今天研究下官方给出的案例,大家可以多看看,多模仿模仿。

例子

最好的学习方法是使用示例,Scrapy也不例外。因此,有一个名为quotesbot的 Scrapy项目示例,请访问https://github.com/scrapy/quotesbot,一个使用CSS选择器,另一个使用XPath表达式,此项目仅用于教育目的。

提取的数据

提取的数据看起来像这个示例:

{
    'author': 'Douglas Adams',
    'text': '“I may not have gone where I intended to go, but I think I ...”',
    'tags': ['life', 'navigation']
}

爬虫

此项目包含两个爬虫,您可以使用list 命令列出它们:

$ scrapy list
toscrape-css
toscrape-xpath

两个爬虫都从同一网站提取相同的数据,但toscrape-css 使用CSS选择器,而toscrape-xpath使用XPath表达式。


运行爬虫

您可以使用scrapy crawl命令运行爬虫,如:
$ scrapy crawl toscrape-css

如果要将已抓取的数据保存到文件,可以传递-o选项:
$ scrapy crawl toscrape-css -o quotes.json


IT文库 » Scrapy爬虫入门教程二
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址