谈谈主流搜索引擎蜘蛛的习惯

现在主流的搜索引擎和蜘蛛分别有:
google蜘蛛: googlebot
百度蜘蛛:baiduspider
搜狗蜘蛛:sogou spider
搜搜蜘蛛:Sosospider
yahoo蜘蛛:slurp
想看看他们是否光临你的网站,可以看看服务器的日志,里面都记载着访问记录,搜索这些蜘蛛的名字就知道有没有来过你的网站。做seo的多少都是要了解搜索引擎蜘蛛的抓取页面的习惯。
经过长期的实践,总结了一些蜘蛛的习惯,分享一下

googlebot:有时候刚发的网页得过一两天才收录,虽然不太习惯去爬,但是喜欢收录,而且一般收录都很大,一些蜘蛛看不上的页面他照样收了。所以要了解更详细的信息,使用谷歌搜索准没有错。

baiduspider:这个家伙非常大勤奋啊,不停的爬,刚发出去的文章,权重大的网站呢,就秒收了,权重不大的网站可能都不要这个页面了。但是收录却很谨慎,就是吃下去的网页,发现不是新鲜的东西,可能还会吐出来呢。

sogou spider:很喜欢图片,可是呢却经常绕在动态地址里出不来,呵呵呵…

slurp:很有原则啊,每次都是先爬robots.txt,收录很谨慎,人家都收很多了,他却才那么点,不过现在对这个蜘蛛不感兴趣了,所以很少针对他做seo