Python根据URL地址下载文件——wget

爬虫过程中经常会需要下载一些资源,通常我们会使用request进行下载,方法大致如下

import requests

# 请求链接,有防爬的要加headers,代理ip地址
img = requests.get(url)  

# 保存文件
with open('./img1.jpg', 'wb') as file:
    file.write(img.content)

这种下载方法还算是挺方便,但有一个更加便捷的方法可以实现同样的目的——wget包(Linux环境下,也有wget命令可以使用)

首先,我们需要安装wget包:

pip install wget

接下来我们看一下,如何使用wget进行下载吧

import wget
wget.download(url, out='./img1.jpg')

没错,就是这么两行,就完成了下载,真的是谁用谁知道,但是如果如果遇到防爬虫措施较严格的可能会失败。

wget不仅可以方便地使用,而且在下载过程中,还自带一个下载进度条,对于下载的文件,也会通过自动解析URL地址获得文件名,效果可以看下面的动图。

wget下载过程

The End


已发布

分类

评论

《“Python根据URL地址下载文件——wget”》 有 3 条评论

  1.  的头像
    匿名

    怎么用wget批量下载txt里的链接呢

    1. monk 的头像
      monk

      [root@izuf63ecxesxv11lv7d02z 2]# cd /root/2

      [root@izuf63ecxesxv11lv7d02z 2]# cat /root/2/download.txt
      https://he.oss-cn-shanghai.aliyuncs.com/images/165/2018/10/1.jpg
      https://he.oss-cn-shanghai.aliyuncs.com/images/165/2018/10/2.jpg
      https://he.oss-cn-shanghai.aliyuncs.com/images/165/2018/10/3.jpg

      [root@izuf63ecxesxv11lv7d02z 2]# wget -r -i /root/2/download.txt

      会自动创建/root/2/he.oss-cn-shanghai.aliyuncs.com/images/165/2018/10/ 目录 ,并且下载图片进去

    2. monk 的头像
      monk

      也可以参考这个:https://zhuanlan.zhihu.com/p/91293517

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注