记录Postman爬虫遇到的一个坑

postman是一个非常好的接口调试工具,对于爬虫爱好者来说,用来爬虫也是非常顺手的。

postman完全跨平台,使用起来非常友好

对于动态的页面,直接在postman中发送request是十分便捷的,用户可以在postman中可视化地完成request的包装,postman能自动生成代码,最近在爬IT橘子,里面含有大量的动态接口,我选择了其中的一个进行爬虫。

直接定制条件
不只是如此,request的headers信息也可以在这里很方便的操作(这里只是展示这个功能,这个头信息不是IT橘子爬虫的头信息)

然后,我进入了调试步骤,但是怎么样都没法成功,OK,我自己写一遍请求过程吧!自己用Python的requests包很快写出了一个请求程序。运行可以跑通,获得json字符串。

那postman为什么不行呢?接口地址,入参,headers都是一样的。找了很久,最后我终于找到了原因,是用postman发送请求,headers信息里会包含一个postman-token字段。有些网站的反爬虫做的比较好,会识别这个字段。然后禁止你访问。

如果要禁止post-man发送postman-token,可以在设置里关闭这个功能。

这里浪费了不少时间,记录下来,希望能帮助到有同样困惑的朋友。

转载请注明出处:机器在学习 » 记录Postman爬虫遇到的一个坑

赞 (0) 打赏

评论 0

觉得文章有用,请作者吃个鸡腿

支付宝扫一扫打赏

微信扫一扫打赏