Scrapy第一蜘蛛

Spider是一个定义初始URL的类,用于提取数据,如何遵循分页链接以及如何提取和解析 items.py中 定义的字段。Scrapy提供了不同类型的蜘蛛,每种蜘蛛都有特定的用途。

在first_scrapy / spiders目录下创建一个名为 “first_spider.py” 的文件,在那里我们可以告诉Scrapy如何找到我们正在寻找的确切数据。为此,您必须定义一些属性

  • 名称 - 它定义了蜘蛛的唯一名称。
  • allowed_domains - 它包含要抓取的蜘蛛的基本URL。
  • start-urls - 蜘蛛开始爬行的URL列表。
  • parse() - 这是一种提取和分析刮取数据的方法。

以下代码演示了蜘蛛代码:

import scrapy  

class firstSpider(scrapy.Spider):
   name = "first"
   allowed_domains = ["dmoz.org"]

   start_urls = [
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
   ]  
   def parse(self, response):
      filename = response.url.split("/")[-2] + '.html'
      with open(filename, 'wb') as f:
         f.write(response.body)

Scrapy爬取:要执行你的蜘蛛,请在 _firstscrapy 目录中运行以下命令:scrapy crawl first其中, 首先 是创建蜘蛛时指定的蜘蛛名称。一旦蜘蛛爬行,你可以看到下面的输出:2016-08-09 18:13:07- ...