网站如何快速识别百度蜘蛛?


痞子小将
商家:
痞子小将
认证:
VIP会员
手机:
19965261227(一键拨号)
微信:
oooo971227
优势:
专注于内容引流,精准营销获客!
温馨提示:
请说在【痞子小将】网站看到。

经常听到开发者问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了!最近百度蜘蛛都不来了怎么办?还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP地址范围动态变化不固定,我们无法对外公布。

那么如何才能识别正确的百度蜘蛛呢?今日干货带你轻松两步正确识别百度蜘蛛:

网站如何快速识别百度蜘蛛? 百度 微新闻 第1张

一、查看UA信息

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,这三个渠道UA分别如下:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

二、双向DNS解析认证

第一步:DNS反查IP

开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

3).在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与您日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

示例1:

> host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

> host baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69


全行业全网霸屏引流推广

专注于内容引流,精准获客

微信号:oooo971227

电话:19965261227(点击咨询)



扫一扫添加客服微信咨询

(0)

相关推荐

  • 今日新发地粉果价(果粉网站)

    ULAxryI鑫腾一贯秉承以人为本,诚信合作,面向全国市,新京报记者刘欢编辑祝凤岚校对付春愔返回搜狐,科学回收,共创价值。降水,今日报价。 求助暗黑模式浏览器网页如何变黑求助威锋千万果粉求助暗黑模式浏览器网页如何变黑求助威锋千万果粉,拓展全国业务,到时候口感会比现在好一些,致力环保事业”的宗旨理念。均是首次,真诚与各电镀厂、电子厂、印刷制版厂等厂家合作。 致…

    好闻分享 2022年 9月 18日
    102.9K00
  • 仪表盘多少钱(如何通过仪表盘识别车型)

    1、仪表盘里最大数字是220的汽车,是10万以内的车, 2、仪表盘里最大的数字是240的汽车是20万以内的车, 3、仪表盘里最大的数字是260到300的汽车是30万到100万之间的车, 4、仪表盘里最大的数字是320以上的汽车是最低100万以内的车,

    2022年 9月 20日 好闻分享
    100
  • 十大良心贷款平台(微信快速借钱5000)

    马上过年了,不少人都面临急用钱的情况,了解一款流程简单、放款快的小额贷款产品就显得很有必要。前几天小编急用钱,用的是微粒贷这款小额贷款产品,感觉挺不错,今天特意给急用钱的朋友介绍一下。急用钱借款 微粒贷无抵押无担保,使用要找准官方入口 微粒贷是一款信用贷款,在微粒贷借钱既不用抵押担保,也不用提供任何纸质材料,很省心。微粒贷的官方入口是在支付或者手机QQ钱包页…

    2022年 9月 20日
    500
  • 折腾网站程序随感

    这是一篇普通博客日志,心情随感,纪念上午折腾网站程序的感想。12年前,做站长、发外链、折腾程序的日子仿佛又回来啦! 1,昨天修正了zblog的Sitemap组件,主要是Sitemap组件生成有问题,导致搜索引擎抓取异常。 2,修正Stemap之后发现一个BUG,用户无法评论了(后面才知判断失误)。 3,登陆后台看到Zblog有新版本,于是好奇心看了下“文件对…

    2022年 9月 15日
    103.0K00
  • 未备案就接入网站主机商被查

    福建部分网站被查出网站未备案入网,当地主机运营商被网监调查批评,开始严查清扫网站备案! 了解到,福建这次部分主机商被严查,主要是因为被当地网监查出当地运营商存在未备案接入网站情况,扫出12个未备案入网的网站,网监宣布严查当地主机服务商,对于放任未备案接入网站的运营商“零容忍”,见一个,罚一个。几乎等于死磕网站备案! 另外还要求当地主机服务商,禁止为未备案网站…

    2022年 9月 15日
    102.9K00
  • 搜狗SR值更新:好多网站SR值变1

    多年不更新的搜狗搜索SR值最近突然抽疯更新了,很多网站SR值骤,卢松松博客的SR值也从之前的4降到1了。 这次搜狗SR值更新,扒了几个网站发现,完全不按套路走,基本上很多网站都被撸到底了,不光卢松松博客博客的搜狗SR降到了1,很多之前SR值很高的大站,比如网易、站长之家、A5站长网这次都被降到1了,没有一个站搜狗SR值上涨的。 基本上搜狗SR值停更之后,很多…

    2022年 9月 15日 好闻分享
    102.9K00
  • 百度搜索开展打击低质内容网站行动

    最近松松编辑杰哥从站长圈了解到,百度搜索近期又开始整活了,不知什么情况,突然开始针对内容低质,包含色情低俗、【违规词】等内容的违规网站开始降权和回收百度站长平台权限行动,大量网站中招流量暴跌! 根据杰哥从百度搜索的近期发布的整改通知显示得知,为了维护优质站点的权益,加快优质资源的处理速度,百度搜索在近期会开始针对含有色情低俗、【违规词】信息、违规低质等网站,…

    2022年 9月 15日
    102.9K00
  • 知名编程技术分享网站被罚款50万

    根据杰哥从群内大佬爆料的信息了解到,这波中招的网站,是圈内一个知名编程技术分享站,前期网站内容主要跟编程技术相关,而一个技术站这波之所以中招踩雷,面临50万巨额罚款,很简单,网站信息涉政了! 根据被罚款站长透露的网信通知显示:网信2021年4月21日就开始对这个网站立案调查,后续监测发现xx开发网用户账户发布涉政违法信息,多个用户账号名称违法违规,直接被判定…

    2022年 9月 15日
    102.9K00
  • 甲醛怎么处理(装修后怎样快速清除甲醛)

    装修房屋难免会带有甲醛等有毒异味,去除甲醛及装修异味有什么办法?今日就有PChouse为你一一解答。 1、开窗通风 抛开甲醛不说,异味气体主要是苯氨TVOC等挥发性气体,前三个月基本上能挥发完全,所以前期开窗通风对去除异味是至关重要的,并且还比较经济实惠,负面影响是北方,雾霾比较多。 2、植物 种植绿色植物能有效的帮助吸附甲醛及异味气体。 3、光触媒 光触媒…

    2022年 9月 21日
    500
  • 写小说去哪个网站好(晋江好混还是起点好混)

    首先提到小说,我们第一个会想到的就是【起点中文网】它的后台是腾讯阅文,老牌网站。 流量很大,许多大神都在起点上发布作品,对于老手来说写得好,可能一夜封神。 像唐家三少、老鹰吃小鸡、爱潜水的乌贼……等等一系列作家,月入百万,年入千万。 同时起点中文也被称为“新手作家的坟墓”,为何这么说呢? 毕竟能在这个平台上签约的都是精英,哪个不是几年写作起步的,而且出了名的…

    2022年 9月 23日 好闻分享
    400

发表回复

您的电子邮箱地址不会被公开。




微信客服
微信客服
QQ客服
分享本页
返回顶部