Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。

相关话题
夫唯
话题优秀回答者
2012-11-24 01:38
96 关注
341 问题
黄    伟

8元重复的标题标记和元说明怎么解决?可以修改robots.txt吗? Robots

这个应该让技术去根据数据库进行判断,已经存在的重复数据,可以让技术做301,也可以在meat里面使用...显示全部