资源分享网致力为您提供干净绿色软件工具下载,seo,sem,短视频运营等教程,网站模板源码下载,免费seo技术分享。点击这里给我发消息

如何正确识别Baiduspider百度蜘蛛

seo知识 资源分享网 283℃ 0评论

如何正确识别Baiduspider百度蜘蛛

>对Baiduspider的了解和理解也是seoer必须了解的内容之一。只有掌握正确识别Baiduspider的技术,对了解网站的优化效果和发展状况才会有很大帮助。那么如何鉴别baiduspider呢?今天石家庄seo博客转载了百度站长平台的一篇文章,详细介绍了识别Baiduspider的方法。以下是身体部位:

如何正确识别Baiduspider mobile ua

新的移动ua:

Mozilla/5.0(Linux;u;Android 4 . 2 . 2;zh-cn;)AppleWebKit/534.46 (KHTML,喜欢Gecko)版本/5.1 Mobile Safari/10600.6.3(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

PC ua:

Mozilla/5.0(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

关注“+http://www . Baidu . com/search/spider . html”标识的网站!您需要修改识别方法。识别Baiduspider mobile ua的新的正确方法如下:

1.通过关键词“Android”或“Mobile”识别,判断是移动访问还是抓取。

2.通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是,如果禁用代理是Baiduspider,那么无论是PC还是手机都会生效。也就是说,无论是PC还是移动Baiduspider都不会抓取被禁止的对象。之所以强调这一点,是发现有些代码适应了站点(同一个url,PC ua打开的时候是PC页面,移动ua打开的时候是移动页面),想设置机器人的代理禁令,达到只允许移动Baiduspider爬行的目的。但是由于PC和移动Baiduspider代理都是百度蜘蛛,所以这种方法非常不可取。

如何识别百度蜘蛛

百度蜘蛛可以说是站长的客人,但是我们遇到过站长这样的问题:我们怎么判断对我们网站内容疯狂的蜘蛛是不是百度的?其实站长可以通过IP的DNS反向查找来判断一个蜘蛛是否来自百度搜索引擎。根据不同平台如linux/windows/os的不同认证方式,认证方式如下:

1.在linux平台下,您可以使用host ip命令来反转ip,以确定它是否来自Baiduspider。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。

2.在windows平台或IBM OS/2平台上,可以使用nslookup ip命令反向ip,确定是否被Baiduspider抓取。打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。

3.在mac os平台上,可以使用dig命令反向ip,确定是否来自Baiduspider。打开命令处理器,输入dig xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。

什么是Baiduspider IP

即使很多站长知道如何判断百度蜘蛛,也会不停地问“百度蜘蛛的IP是什么”。我们理解站长的意思,就是想把百度蜘蛛的IP加到白名单里,只允许白名单下面的IP爬上网站,避免被收集。

但是我们不建议站长这么做。虽然百度蜘蛛确实有一个真实IP在其中切换的IP池,但我们不能保证整个IP池都不变。因此,我们建议站长在发现恶意蜘蛛后,要经常阅读日志,并将其列入黑名单,以保证百度的正常爬行。

同时,我们再次强调,用IP来区分百度蜘蛛的属性是很可笑的,所谓的“沙盒蜘蛛”和“降能蜘蛛”从来就不存在。

转载请注明:秦皇岛seo,网站优化,抖音短视频运营 » 如何正确识别Baiduspider百度蜘蛛

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址