• Scrapy初窥:爬一个绅士动漫站

    最近逛到一个绅士动漫视频站(http://hentaidude.com ),发现它的视频是直接以完整的视频文件方式提供的,试了下可以直接下载,于是我就想试着用爬虫抓取下来。尝试了下使用 python 爬虫框架 scrapy,很容易就撸好了,对方没有做反爬虫处理,直接抓就完事了。 我要抓取的网站是典型的分页显示的网站,涉及列表页和详情页,...