Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。

相关话题
夫唯
话题优秀回答者
2012-11-24 01:38
96 关注
323 问题
Michael Gu0

3元同一个域名下网站有中英文2个版,业务主要针对中国用户,需要用robot把英文网站的网址都屏蔽掉吗? Robots

可以把中文和英文分别放在两个目录里,然后在根目录的index.html文件中写个导向,就可以显示中文...显示全部
李  磊

robots文件这样写对吗? Robots

可以的,你的有个目录些重复了,地图目录如果没重要页面可以整个目录屏蔽掉,如下:User-agent:...显示全部

关于robots文件的高级写法问题 Robots

你说得不清不楚的,不太懂你的URL,按你的这个意思应该是这样Disallow: /template/...显示全部
刘振勇

1元关于robots文件禁止问题 Robots

不会被抓取的。robots文件的正确写下是Disallow: http://www.aiaitiee...显示全部