机器都在不停学习
人怎们能停止脚步

爬虫过程中遇到的小问题:合并两个json

在爬虫过程中,经常会向一个借口发送请求,得到一段json信息。但是通常,为了获得更多的信息,爬虫会向多个接口发送请求,再将返回的json拼凑到一块。这些json中,有许多字段的key和value都是一样的,因此我们需要将重复的去处,不重复的合并成一个json。

爬虫过程中遇到的小问题:合并两个json-机器在学习
json在爬虫中经常会涉及到

这个功能怎么实现呢?写一个循环遍历每一个json的key,去除重复的key,然后进行拼凑?

这也太麻烦了,明显不符合Python简介的代码风格。Python有更加简介的写法,直接一行代码就可以完成拼凑json的需求。

爬虫过程中遇到的小问题:合并两个json-机器在学习

上图只用了一行代码dict(json1, **json2) 就完成了拼凑,并对于json1与json2中共有的key(name,sex)做了去重处理。

赞(1)
转载请注明出处机器在学习 » 爬虫过程中遇到的小问题:合并两个json
分享到: 更多 (0)

评论 抢沙发