1. robots.txt能够告知百度您网站的哪些页面能够被抓取，哪些页面不能够被抓取。

　　2. 您能够经过Robots东西来创立、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度收效的状况。

　　3. Robots东西现在支撑48k的文件内容检测，请确保您的robots.txt文件不要过大，目录最长不超越250个字符。