大家可能以为我一直都没有更新了吧，在这里我先说明下，其实隔三差五的我一直都在更新，只是直接都发布在SEO中国站的头条上，所以大家如果看到我博客没有更新的话，可以去看看SEO中国站的头条，那也都是本人的原创更新。下面我就针对各大搜索引擎对robots.txt文件的反应，给大家详细讲解下，以供大家平时参考。

        最近，我特意针对robots.txt文件对于各大搜索引擎做了个实验，看他们这一自己说是明文遵守的协议，落实到实际中去执行又是个什么状况。首先这个网站在百度，GOOGLE，yahoo，搜狗，搜搜，必应，有道收录都正常，然后我直接在robots.txt文件中设置禁止所有搜索引擎蜘蛛访问和爬行收录本站。自从把这个文件放上去的那天起，反应速度最快的就是GOOGLE，这也在我的意料之中，GOOGLE不管是做什么事情，处理完毕达到自己想要的效果反应速度都是一流的理想。甚至在做GOOGLE排名的时候，自己的操作速度和预期GOOGLRE排名效果的反应速度同步，最尽人意的莫过如此了。这也就是很多人不理解，为什么做优化有时需要很多时间，因为各个不同的搜索引擎对信息的抓取反应存在很大差别，所以有些时候，你什么都做好了。你还得去等待搜索引擎来抓取，搜索引擎抓取后才开始分析你这些信息的质量，质量高自然就增加到网站权重上去。

       所以要在最短时间内做出最高效理想的SEO效果出来，应该具备正确的决策能力和高效的执行能力，自接到网站优化的那一刻起，你所做的每一件事都是对网站能起到效果的，这些事情做下去后，对网站能起到多大的作用，在优化的过程中，针对出现的不同现象，及时做出准确的处理方式，时刻对整个网站的优化操作做出风险评估把控。

       接着说其他搜索引擎对robots.txt文件的反应，GOOGLE只用了4天时间，删除了整个域名的网页收录，随后是腾讯SOSO过了6天也执行删除了整个域名的网页收录，接着是必应、搜狗7天时间删除了域名收录。到目前为止网易有道，百度没有丝毫动作，在百度只有几个关键词的排名稍微后退了一点，但没有删除任何域名网页收录。

      通过这个实验分析得出的数据，希望大家以后在操作如此类似的robots.txt问题时，能起到参考作用。目前鉴于百度和有道还没有丝毫变化，所以需要继续观察一段时间，等后期有了结果，再做个百度详细robots.txt专题文章描述，希望大家继续关注。

作者：水晶枫叶
出处：http://www.seocnz.com/seo/
此SEO博客专注于SEO技术研究，网站优化及网站推广。
本文水晶枫叶SEO博客保留版权，转载请以连接形式注明出处。