我们最懂你
全网第一福利站

CrawlerForS:高清中文电影爬虫

CrawlerForS是一款可以爬取某堂高清中文电影数据并生成Excel文件的爬虫软件,爬取的数据包括电影的演员名字、预览图、磁力等内容。

https://github.com/abcabc2020/CrawlerFor98_2.1

注意:国内有些地区访问Github可能有些问题。

简介

以下内容节选自作者Github项目页面,具体详细的说明可以到Github查看。

为了可以有效根据更多的关键词进行搜索,或者更快的浏览,所以写一个可以进行不断更新爬取的软件,代替堂里其他人偶尔的更新。
a. 可以进行增量爬取,为了保证程序的效率,采用了日志的方法,即:./98_Data/result.txt文件记录了爬取的开始日期和结束日期,在这个基础上更新新的数据,简单快捷。
b. 可以自动在爬取时下载对应的封面和截图(需要开dai-li,否则会出现大量失败),下载失败自动重试,如果失败自动记录在failimage.txt文件中
c. 新版增加多线程运行功能:可自定义线程数:图片下载线程,网页详细数据处理线程,每页url处理线程(有最大数量限制,超出自动变成最大数)

软件功能说明&包含文件说明
1、CrawlerForS_x.x
高清中文电影区的数据进行爬取。
2、TitleReplace_x.x
对所选文件夹下的电影进行文件名替换,替换为汉语标题,影片的内容了解一大半,方便选择。

赞(5) 打赏
未经允许不得转载:看神马 » CrawlerForS:高清中文电影爬虫

全网第一福利站

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏