前段时间我利用robots.txt做了一个实验，看看robots对百度优化排名有利吗，结果给我2个答案，有一个网站排名不好，有一个网站排名上升，最近我也不知道robots对百度优化排名有利吗，现在也是非常时期不会长时间拿着自己的网站做这实验，还请江湖人们告诉我有没用吧。

搜索引擎蜘蛛在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件。robots.txt文件作用是禁止搜索引擎抓取网站中某些内容。文件名必须是robots.txt（小写字母）。存放位置必须在空间根目录下，百度的robots.txt文件允许百度蜘蛛抓取网站部分页面。如网站允许抓取所有文件，可以不需要使用此文件。