网站SEO，ROBOTS文件详细写？

前段时间有看到一本SEO相关的书籍，里面讲解到如何正确书写好你的robots文档。现在也就我所了解的关于robots.txt文档简单分

享下：

    在了解此robots.txt文档的使用之前，我们先了解下搜索引擎的爬取步骤。

    当每一个搜索引擎蜘蛛在爬取你的网站之前，都会先查看有没有robots.txt文档，在正确读取完此文档后，然后按照此文档定义

的规则进行有选择性的爬行，直到爬取完整个网站。

    大家都知道当一个网页不存在时系统会反馈一个404错误页，所以404页面越多，对于网站的优化就越不利。

    其实同样的道理，在搜索引擎爬取你网站查找根目录的robots.txt文档时，当此文档存在时即继续爬行；当此文档不存在时同样

返回一个404错误。可能有大部分站长都没有注意，有的网站根本没有robots文档，其实那是不正确的做法，哪怕上传一个robots命

名的空文件也行。

    另外可能考虑到大多数站长对此文档的书写规则的不熟悉，可能百度对此文档的认为可有可无，但是我们做网站并不只是为了给

百度看，另外其他搜索引擎也很重要。所以正常情况下请务必给网站添加书写正确的robots.txt文档。SEO细节决定成败！