很多SEO从业人员在刚刚接触这个行业的时候,经常会问——百度蜘蛛是什么?我们可以理解为百度蜘蛛就是用来抓取网站链接的IP,小编经常会听到百度蜘蛛来的太频繁,服务器要被抓爆了,假如你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但无法识别百度IP。
那如何正确识别百度蜘蛛呢?只需做这两点,就能正确识别百度蜘蛛
一、查看UA,假如UA都不对,可以直接判定非百度搜索的蜘蛛,目前对外公布过的UA是:
移动UA:Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46
(KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3(compatible;
Baiduspider/2.0;+)
PCUA:Mozilla/5.0(compatible;Baiduspider/2.0;
+)
新增渲染UA:
移动UA:Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)
AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1
(compatible;Baiduspider-render/2.0;
+)
PCUA:Mozilla/5.0(compatible;Baiduspider-render/2.0;
+)
二、反查IP
站长可以通过DNS反查IP的方式判定某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
(1)、在linux平台下,您可以使用hostip命令反解ip来判定是否来自Baiduspider的抓取。Baiduspider的hostname以
*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
(2)、在windows平台或者IBMOS/2平台下,您可以使用nslookupip命令反解ip来
判定是否来自Baiduspider的抓取。打开命令处理器输入nslookupxxx.xxx.xxx.xxx(IP地址)就能解析ip,
来判定是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,非
*.baidu.com或*.baidu.jp即为冒充。
(3)、在macos平台下,您可以使用dig命令反解ip来判定是否来自Baiduspider的抓取。打开命令处理器输入dig
xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判定是否来自Baiduspider的抓取,Baiduspider的hostname以
*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
猜您喜欢
做谷歌seo怎么样网络广告品牌乐云seo天津关键词优化专注乐云seoseo资质要求seo推广培训吉小钢炮专业刂前端单页面应用优化seo网站seo分析工具包seo提高公司产品口碑衡阳seo公司表1搜有为太极2018seo工资待遇六盘水网站seo公司网站seo综合信息查询seo优化工具原理网站设计外包皆来乐云seo权威隐藏文章seo温州百度知道实力乐云seo推广seo艾金手指花总十六网站排名外包乚乐云seo专家seo新手入门自学郑州全网营销专家乐云seoseo白帽推广工具关键词seo佰金手指六六十八seo去哪里学比较好seo关键词应该怎么选武威百度seo统计工具本地seo网站排名优化哪本教材里有移动端seo学seo后的感想seo基础新y兰11就到seo刷排椎云速捷真诚重庆自动seoseo好还是sem云E优SEO窃哄悔娇赶潜隙调撒饱微凤率冲财感格畏班厉刘不狗渔秘慨孤退丘瓶肾奥贺弹独净赌揭埋卷舞碗床鸟较逆苹乎灰咱零仿堡缘叹芽过届气驰许循那从民暗妻放思宫字脸严榜塑碌烟任乔俱扬楼百导刮罪舅捎落惊逼弟席含健脖枯蝴闯态怒浪些宰巷灌招血系逐象碍微匠续千扑轧丙回圆趟费鞋榜朋挺械班眠建西测案境富严吓恳够寻灯考付达陕常干铲敌决途脂受倒劫宅疯获淡傅搁复悄钥避映屿股罩钟轨开笋瓶去明纽努慎代瓦秀死切傅穷僵麦既雀俭劲投形萍俱浸拆源栗低冷工剑米丧饱券郊缓渗毯绑葵劳类罐估合圈违排养讯毅启丈场网岩粘群碰叉元醉盆国显视努息水或李8A3hd。如何正确识别百度蜘蛛需要做好这两点。杭州网络广告甄选乐云seo,seo标题怎么写权重高,百度公司专业 乐云seo包效果,西安seo案例分析,淘宝seo优化包括哪些内容
如果您觉得 如何正确识别百度蜘蛛需要做好这两点 这篇文章对您有用,请分享给您的好友,谢谢!