Bing网站管理员工具中的爬网空间功能允许网站管理员控制Bingbot抓取您的网站的速率。当您的网站上有访问者以适当地管理带宽时,需要进行爬网控制以限制Bingbot和Googlebot等搜索引擎蜘蛛的活动。
由于网站上的访问者将被给予更高的优先级,显然当时的搜索引擎活动将受到限制。您可以根据访问者在您网站上的模式,通知Bingbot在一天中的任何时间点更快或更慢地爬行。
登录到您的Bing网站管理员工具帐户并选择您要设置抓取控制模式的网站。您必须在您的帐户中添加并验证您的站点才能使用此功能。“爬网控件”选项在“配置”选项卡下可用。
(1)爬网设置的时间首选项
登录您的Bing站长管理工具,选择您的网站后,点击右侧的“配置-爬网控件”,然后您会看到爬网设置的时间首选项,在这里您可以选择网站所在地区的时区及时间格式,比如您在中国大陆,则可以选择东八区:
(2)爬网设置
选择了时区和时间格式之后,我们可以开始设置爬网设置,如下图所示,我们可以通过预设的选项,设置网站流量最多的时间段,如果网站面向的是中国用户,选择9AM-5PM即可。
如果网站面向其他国家或者地区,则可以根据自己网站流量的实际情况,选择其他预设项,或者选择自定义,然后手动下方的爬网速度网格,网格越多代表那个小时爬网速度越快(对应的小时应该网站流量越少)。
您还可以在robots.txt文件中设置抓取延迟。您在Bing网站管理员工具中设置的抓取速度将被您的robots.txt中提供的信息所取代。
重要的是,网站管理员应首先确保网站缓慢是由于Bingbot活动造成的。使用验证Bingbot工具检查服务器日志文件中显示的IP地址是否属于Bingbot,然后根据Bingbot爬取模式和访问者模式相应地设置爬取率。
有人可能说,Bing在搜索引擎都没什么市场份额,管它干什么。
或者在后IE时代,bing的流量的确少得可怜。随着Edge浏览器使用Chrome内核开发之后,Bing的流量也慢慢起来,虽远不如百度,但聊胜于无。
这一点在闪电博的流量统计可以获得证明,从最近30天闪电博的来源网站统计,可以看到bing的流量已经跃升至第二位,仅次于百度,且流量超过了15%。
因此,建议站长们不要忽视bing的流量。怎么获得更多的bing收录?可以考虑使用搜索推送插件,将最新发布的内容即时推送至bing,这应该是当前最有效的主动推送方式之一。
原文地址:https://www.wbolt.com/bingbot-crawl-control-settings.html