机器都在不停学习
人怎们能停止脚步

Python根据URL地址下载文件——wget

爬虫过程中经常会需要下载一些资源,通常我们会使用request进行下载,方法大致如下

import requests

# 请求链接,有防爬的要加headers,代理ip地址
img = requests.get(url)  

# 保存文件
with open('./img1.jpg', 'wb') as file:
    file.write(img.content)

这种下载方法还算是挺方便,但有一个更加便捷的方法可以实现同样的目的——wget包(Linux环境下,也有wget命令可以使用)

首先,我们需要安装wget包:

pip install wget

接下来我们看一下,如何使用wget进行下载吧

import wget
wget.download(url, out='./img1.jpg')

没错,就是这么两行,就完成了下载,真的是谁用谁知道,但是如果如果遇到防爬虫措施较严格的可能会失败。

wget不仅可以方便地使用,而且在下载过程中,还自带一个下载进度条,对于下载的文件,也会通过自动解析URL地址获得文件名,效果可以看下面的动图。

Python根据URL地址下载文件——wget-机器在学习
wget下载过程

赞(0)
转载请注明出处机器在学习 » Python根据URL地址下载文件——wget
分享到: 更多 (0)

评论 抢沙发