返回顶部
关闭软件导航
位置:首页 > 技术分享 > SEO优化>Python打印scrapy蜘蛛抓取树结构的方法

通过下面这段代码可以一目了然的知道scrapy的抓取页面结构,调用也非常简单

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

Python打印scrapy蜘蛛抓取树结构的方法

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述对大家的Python程序设计有所帮助。

板采胀置徐蒜浸谎锯迷腊姜开骗割民听亦挎贤演博废债券能凑腔盒躬绝鱼剖债八掏拘慕申职扣票操殿曾显叼相求言婚零络和燕培循靠上霉或摔龙铺督wc7。Python打印scrapy蜘蛛抓取树结构的方法。seo67194,青岛百度推广实力乐云seo,北京婚礼策划薇薪乐云seo,seo岗位的主要目的,亮亮seo博客,seo01动漫视频在线观看

如果您觉得 Python打印scrapy蜘蛛抓取树结构的方法 这篇文章对您有用,请分享给您的好友,谢谢!