Rat's

使用FileManager+基于Python3的爬虫程序建立影音图片库
说明:爬虫估计很多人知道,可以自动下载一些网站上面的图片,视频,这里说下使用FileManager和爬虫建立影音、...
扫描右侧二维码阅读全文
02
2018/02

使用FileManager+基于Python3的爬虫程序建立影音图片库

说明:爬虫估计很多人知道,可以自动下载一些网站上面的图片,视频,这里说下使用FileManager和爬虫建立影音、图片库,并分享几个美女站爬虫(1024/mm131/91/mmjpg)。想看美女的可以爬来看看。至于其他学习资料网站的爬虫,可以去Github上找找。

提示:91爬虫已失效,现已移除该爬虫脚本。

截图

请输入图片描述
请输入图片描述

使用教程

注:以下部分爬虫由Eq博主提供。

爬虫使用python3+requests库编写,在Windows系统和Linux系统下都可以运行,大部分UbuntuDebian都含有Python3,直接安装最新此系统就可以了。而CentOS需要额外安装Python3,这里只说下CentOS 7系统使用方法。

1、安装FileManager网盘
教程参考:利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器

2、检查Python3并升级
查看Python3是否安装

python3 -V

如果返回-bash: python3: command not found,就使用Python 3.6一键脚本进行安装:

wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh

本脚本包含许多必需库,不会因为缺少依赖而出问题,如果不想用脚本的,也可以手动升级,教程参考:Linux CentOS升级Python 3.6版本方法

3、安装requests库

pip3 install requests

4、创建文件夹

mkdir /usr/local/caddy/www/file/xx  #用来存储文件
cd /usr/local/caddy/www/file/xx

5、下载并运行爬虫

#1024图片爬虫
wget https://www.moerats.com/usr/shell/Python3/1024_spider.py && python3 1024_spider.py
#mm131图片爬虫
wget https://www.moerats.com/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py
#mmjpg图片爬虫
wget https://www.moerats.com/usr/shell/Python3/mmjpg.py && python3 mmjpg.py    

建议使用screen后台操作,参考:使用screen来实现多任务不断线操作命令。最后进入FileManager网盘查看即可。

Vultr新用户注册送100美元/16个机房按小时计费,支持支付宝,【点击查看】。
最后修改:2019 年 05 月 08 日 06 : 47 PM

发表评论

22 条评论

  1. 画龙点B

    阿里云的轻量云搭建不了FileManager+ ,请问一下是什么问题呢?

    1. Rat's
      @画龙点B

      说具体点

      1. fly
        @Rat's

        [错误] Caddy 解压失败或压缩文件错误 ! 应该是这个 我vultr也是提示这个 两个地址都试过了

      2. 全球
        @Rat's

        阿里云轻量Caddy安装不了

        1. fly
          @全球

          提示失败 你就直接输入 caddy_install.sh
          就好了

  2. 小智

    xvideos的爬虫脚本能搞一个吗?

    1. Rat's
      @小智

      可以自己去github搜一个

  3. 无精有卵

    请问博主,还有没有其他的爬虫呢?或者Github上的爬虫怎么在我的VPS里用呢?

    1. Rat's
      @无精有卵

      Github上很多爬虫,有兴趣可以找找,至于运行的话,你得看看运行要求。

      1. 无精有卵
        @Rat's

        我想要几个91的爬虫,你博文下面留的两个已经不能用了,或者给几个其他视频的爬虫也可以。

        1. Rat's
          @无精有卵

          该问题已经修复,还需要额外运行下pip3 install requests_html。

          1. 无精有卵
            @Rat's

            请问博主,如何运行你所说的 pip3 install requests_html ,

            1. Rat's
              @无精有卵

              SSH客户端一进去就直接运行

              1. 无精有卵
                @Rat's

                运行了还是没爬成功,请问博主,爬虫你测试成功了吗?

                1. Rat's
                  @无精有卵

                  没问题,你别留微信了,看我文章下面有联系方式,你加我吧。

  4. y'y'y

    在我的vps上显示错误提示: import requests,re,os
    ImportError: No module named 'requests'

    但是上面pip3 install requests已经执行过了

    1. Rat's
      @y'y'y

      什么系统?或者你用CentOS 7重来一次,之前在CentOS 7上测试好多次,没出过问题。

      1. y'y'y
        @Rat's

        centOS6.9,重装成ununtu16.04后就好了。。

  5. 唯一度博客

    我刚写了用谷歌GPU的方法,不过91脚本经常502。

    1. Rat's
      @唯一度博客

      好像是有这种情况,我看能不能修改下。

      1. 唯一度博客
        @Rat's

        LOC论坛又重新发部一个,不过有权限,我看不了。

        1. Rat's
          @唯一度博客

          看到了,我更一下吧。