谷歌中文网站管理员博客发表了一篇文章: 如何使用robots.txt. 文章虽然不长, 但是清楚明了的说明robots.txt的用途与用法. 如果网站有些内容, 或某些目录是不想被google索引的话, robots.txt就会派上用场.

值得注意的是, robots.txt必须放在根目录下, 否则不起作用. 同时, google还提供了一个robots.txt分析工具, 供网站管理员使用.

看原文: 如何使用robots.txt