机器都在持续学习
人怎么能停下脚步

Python异常重试retry,轻松解决爬虫过程中遇到的异常

接触这个包最初是因为爬虫过程中,经常会碰到各种反爬虫,或者是网络连接异常,导致爬虫受阻。这个时候,我一般写一个回调函数,当程序抛出异常的时候,让程序休息几秒钟,重新运行爬虫若干次。

Python异常重试retry,轻松解决爬虫过程中遇到的异常-机器在学习
import time

# 爬虫代码,这里没有写中间过程
def spider():
  xxx

for i in range(5):
  try:
    spider()
    break
  except:
    time.sleep(2)

这种方法明显不符合Python的简介风格,我在网上找了一下,果然找到了一个神奇的包——retry,正如它的名字,retry是用来实现重试的。

from retry import retry

@retry(tries=5, delay=2)
# 爬虫代码,这里没有写中间过程
def spider():
    xxx

spider()

使用retry实现这个功能,循环次数与delay时间都可以很方便定制,如果你不指定tries与delay,那么相当于加了一个死循环。在括号里还可以添加异常捕获的类型,具体使用方法,可以参考retry的github页面:https://github.com/invl/retry 

这种写法明显简介多了,调试起来也变得非常容易。

赞(0)
转载请注明出处机器在学习 » Python异常重试retry,轻松解决爬虫过程中遇到的异常
分享到: 更多 (0)

评论 抢沙发