请选择 进入手机版 | 继续访问电脑版

TB外链干货论坛

 找回密码
立即注册
查看: 181|回复: 0

百度:巧用robots避免蜘蛛黑洞

[复制链接]

15万

主题

15万

帖子

58万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
588123
发表于 2021-6-4 13:28:39 | 显示全部楼层 |阅读模式


参加“2014IDC产业发展高峰论坛”



百度站长平台刚刚发布了一个小技巧:巧用robots避免蜘蛛黑洞。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高。

如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。

这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。

那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:


对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c


对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。


扩展阅读:蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。


无觅关闭广告平台和网站盈利产品

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|TB外链干货论坛 ( 浙ICP备2021013751号-2 )|网站地图

GMT, 2021-10-20 06:11 , Processed in 0.108448 second(s), 21 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表