搜狐、新浪博客都已经禁止了搜索引擎抓取

搜狐、新浪博客都已经禁止了搜索引擎抓取

今日查看新浪博客和搜索博客的robots.txt，发现他们都已经禁止了搜索引擎抓取，新浪博客的robots.txt禁止搜索引擎抓取的注释是"临时限制对所有目录的禁止抓取"，想必搜狐对搜索引擎抓取的禁止也是"临时"的，具体"临时"的原因就不太清除了。

新浪博客：

http://blog.sina.com.cn/robots.txt

搜狐博客：

http://blog.sohu.com/robots.txt