Rat's

使用FileManager+基于Python3的爬虫程序建立影音图片库
说明：爬虫估计很多人知道，可以自动下载一些网站上面的图片，视频，这里说下使用FileManager和爬虫建立影音、...
扫描右侧二维码阅读全文
02
2018/02

使用FileManager+基于Python3的爬虫程序建立影音图片库

  1.  首页
  2. 正文  
    3. 分享到：

说明：爬虫估计很多人知道，可以自动下载一些网站上面的图片，视频，这里说下使用FileManager和爬虫建立影音、图片库，并分享几个美女站爬虫（1024/mm131/91/mmjpg）。想看美女的可以爬来看看。至于其他学习资料网站的爬虫，可以去Github上找找。

提示：91爬虫已失效，现已移除该爬虫脚本。

截图

请输入图片描述
请输入图片描述

使用教程

注：以下部分爬虫由Eq博主提供。

爬虫使用python3+requests库编写，在Windows系统和Linux系统下都可以运行，大部分Ubuntu、Debian都含有Python3，直接安装最新此系统就可以了。而CentOS需要额外安装Python3，这里只说下CentOS 7系统使用方法。

1、安装FileManager网盘
教程参考：利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器。

2、检查Python3并升级
查看Python3是否安装

python3 -V

如果返回-bash: python3: command not found，就使用Python 3.6一键脚本进行安装：

wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh

本脚本包含许多必需库，不会因为缺少依赖而出问题，如果不想用脚本的，也可以手动升级，教程参考：Linux CentOS升级Python 3.6版本方法。

3、安装requests库

pip3 install requests

4、创建文件夹

mkdir /usr/local/caddy/www/file/xx  #用来存储文件
cd /usr/local/caddy/www/file/xx

5、下载并运行爬虫

#1024图片爬虫
wget https://www.moerats.com/usr/shell/Python3/1024_spider.py && python3 1024_spider.py
#mm131图片爬虫
wget https://www.moerats.com/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py
#mmjpg图片爬虫
wget https://www.moerats.com/usr/shell/Python3/mmjpg.py && python3 mmjpg.py

建议使用screen后台操作，参考：使用screen来实现多任务不断线操作命令。最后进入FileManager网盘查看即可。

版权声明：本文为原创文章，版权归 Rat's Blog 所有，转载请注明出处！

本文链接：https://www.moerats.com/archives/501/

如教程需要更新，或者相关链接出现404，可以在文章下面评论留言。

搬瓦工CN2/GIA CN2套餐，1G带宽，速度快，建站稳定，支持支付宝，【点击查看】。
最后修改：2019 年 05 月 08 日 06 : 47 PM
© 著作权归作者所有

发表评论

22 条评论

  1. 画龙点B

    阿里云的轻量云搭建不了FileManager+ ，请问一下是什么问题呢？
    回复
    1. Rat's
      @画龙点B

      说具体点
      回复
      1. fly
        @Rat's

        [错误] Caddy 解压失败或压缩文件错误 ! 应该是这个 我vultr也是提示这个 两个地址都试过了
        回复
      2. 全球
        @Rat's

        阿里云轻量Caddy安装不了
        回复
        1. fly
          @全球

          提示失败 你就直接输入 caddy_install.sh
          就好了
          回复
  2. 小智

    xvideos的爬虫脚本能搞一个吗？
    回复
    1. Rat's
      @小智

      可以自己去github搜一个
      回复
  3. 无精有卵

    请问博主，还有没有其他的爬虫呢？或者Github上的爬虫怎么在我的VPS里用呢？
    回复
    1. Rat's
      @无精有卵

      Github上很多爬虫，有兴趣可以找找，至于运行的话，你得看看运行要求。
      回复
      1. 无精有卵
        @Rat's

        我想要几个91的爬虫，你博文下面留的两个已经不能用了，或者给几个其他视频的爬虫也可以。
        回复
        1. Rat's
          @无精有卵

          该问题已经修复，还需要额外运行下pip3 install requests_html。
          回复
          1. 无精有卵
            @Rat's

            请问博主，如何运行你所说的 pip3 install requests_html ，
            回复
            1. Rat's
              @无精有卵

              SSH客户端一进去就直接运行
              回复
              1. 无精有卵
                @Rat's

                运行了还是没爬成功，请问博主，爬虫你测试成功了吗？
                回复
                1. Rat's
                  @无精有卵

                  没问题，你别留微信了，看我文章下面有联系方式，你加我吧。
                  回复
  4. y'y'y

    在我的vps上显示错误提示： import requests,re,os
    ImportError: No module named 'requests'

    但是上面pip3 install requests已经执行过了
    回复
    1. Rat's
      @y'y'y

      什么系统？或者你用CentOS 7重来一次，之前在CentOS 7上测试好多次，没出过问题。
      回复
      1. y'y'y
        @Rat's

        centOS6.9，重装成ununtu16.04后就好了。。
        回复
  5. 唯一度博客

    我刚写了用谷歌GPU的方法，不过91脚本经常502。
    回复
    1. Rat's
      @唯一度博客

      好像是有这种情况，我看能不能修改下。
      回复
      1. 唯一度博客
        @Rat's

        LOC论坛又重新发部一个，不过有权限，我看不了。
        回复
        1. Rat's
          @唯一度博客

          看到了，我更一下吧。
          回复