说明:爬虫估计很多人知道,可以自动下载一些网站上面的图片,视频,这里说下使用FileManager
和爬虫建立影音、图片库,并分享几个美女站爬虫(1024
/mm131
/91
/mmjpg
)。想看美女的可以爬来看看。至于其他学习资料网站的爬虫,可以去Github
上找找。
提示:91爬虫已失效,现已移除该爬虫脚本。
截图
使用教程
注:以下部分爬虫由Eq博主提供。
爬虫使用python3
+requests
库编写,在Windows
系统和Linux
系统下都可以运行,大部分Ubuntu
、Debian
都含有Python3
,直接安装最新此系统就可以了。而CentOS
需要额外安装Python3
,这里只说下CentOS 7
系统使用方法。
1、安装FileManager网盘
教程参考:利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器。
2、检查Python3并升级
查看Python3
是否安装
python3 -V
如果返回-bash: python3: command not found
,就使用Python 3.6
一键脚本进行安装:
wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh
本脚本包含许多必需库,不会因为缺少依赖而出问题,如果不想用脚本的,也可以手动升级,教程参考:Linux CentOS升级Python 3.6版本方法。
3、安装requests库
pip3 install requests
4、创建文件夹
mkdir /usr/local/caddy/www/file/xx #用来存储文件
cd /usr/local/caddy/www/file/xx
5、下载并运行爬虫
#1024图片爬虫
wget https://www.moerats.com/usr/shell/Python3/1024_spider.py && python3 1024_spider.py
#mm131图片爬虫
wget https://www.moerats.com/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py
#mmjpg图片爬虫
wget https://www.moerats.com/usr/shell/Python3/mmjpg.py && python3 mmjpg.py
建议使用screen
后台操作,参考:使用screen来实现多任务不断线操作命令。最后进入FileManager
网盘查看即可。
版权声明:本文为原创文章,版权归 Rat's Blog 所有,转载请注明出处!
本文链接:https://www.moerats.com/archives/501/
如教程需要更新,或者相关链接出现404,可以在文章下面评论留言。
阿里云的轻量云搭建不了FileManager+ ,请问一下是什么问题呢?
说具体点
[错误] Caddy 解压失败或压缩文件错误 ! 应该是这个 我vultr也是提示这个 两个地址都试过了
阿里云轻量Caddy安装不了
提示失败 你就直接输入 caddy_install.sh
就好了
xvideos的爬虫脚本能搞一个吗?
可以自己去github搜一个
请问博主,还有没有其他的爬虫呢?或者Github上的爬虫怎么在我的VPS里用呢?
Github上很多爬虫,有兴趣可以找找,至于运行的话,你得看看运行要求。
我想要几个91的爬虫,你博文下面留的两个已经不能用了,或者给几个其他视频的爬虫也可以。
该问题已经修复,还需要额外运行下pip3 install requests_html。
请问博主,如何运行你所说的 pip3 install requests_html ,
SSH客户端一进去就直接运行
运行了还是没爬成功,请问博主,爬虫你测试成功了吗?
没问题,你别留微信了,看我文章下面有联系方式,你加我吧。
在我的vps上显示错误提示: import requests,re,os
ImportError: No module named 'requests'
但是上面pip3 install requests已经执行过了
什么系统?或者你用CentOS 7重来一次,之前在CentOS 7上测试好多次,没出过问题。
centOS6.9,重装成ununtu16.04后就好了。。
我刚写了用谷歌GPU的方法,不过91脚本经常502。
好像是有这种情况,我看能不能修改下。
LOC论坛又重新发部一个,不过有权限,我看不了。
看到了,我更一下吧。