Scrapy [web抓取框架]

    # Python开发的一个快速,高层次的屏幕抓取和web抓取框架,
    #用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
    pip install scrapy

    from scrapy import Spider, Item, Field

    class Post(Item):
        title = Field()

    class BlogSpider(Spider):
        name, start_urls = 'blogspider', ['http://blog.scrapinghub.com']

        def parse(self, response):
            return [Post(title=e.extract()) for e in response.css("h2 a::text")]
文档更新时间: 2018-11-21 17:55   作者:RuM