关于搜索引擎的一些数据

Saturday, May 30 23:22, 2009
2 comments/562 hits

前两天做了一个页面访问记录，主要记录user-agent，也就是搜索引擎的访问次数。发现一些有趣的事情。由于这个很占空间和时间，而且由于google app engine的所有数据库都共用一个id库，所以记录这个东西会让我的其他地方的id疯长，所以做几天之后就不再记录了，忒麻烦。

下面的表中显示了2009-05-27 13:09到2009-05-30 14:27之间的访问记录。总共384次访问，其中所有引擎访问了200多次，我自己访问了100多次，一个未知的java/1.6访问了20次，不知道是什么玩意。。

对于所搜引擎的访问：
googlebot/2.1   111 = 77 + 34
baiduspider       74（但是baidu上所有不到我的页面，不知道是觉得价值不大，丢弃了，还是需要一段时间。。。）
Yahoo               8 = 5(Slurp/3.0)+ 2(Yahoo! Slurp China) + 1(Yahoo! Slurp)
Sogou               2
Yandex              2
larbin2.6.3       fqSpider    CollapsarTEXT 等小众搜索引擎四次。

从上面的访问次数结合搜索引擎查询本网站发现：

  1. 搜索引擎抓取的数据不一定能够访问到，有可能是需要时间，也有可能是觉得没啥价值，所以就被扔掉了。。。估计是前者吧
  2. 由于本站在google上，所以google搜索的最勤快，不过baidu也很勤快，我这个网站没有别的连接指向我，所以应该是我的网址入库了，所以不定期查询。
  3. 对于新站，google的反应时最快的，baidu比较慢，但是爬的比较勤快，很快次数就赶上来了，yahoo也不错，而且yahoo里可以搜到我的页面，从抓取到能够检 索比较快。
  4. sogou也来过两次，可是youdao呢？还有live(最近改成“bing"的那位)呢？
  5. 连俄罗斯的Yandex都来过两次了，上面那两位还没有来。。。我的域名是美国的godaddy上申请的，站点架设在gogole app engine上，应该跟Russian没有多大 的关系啊.
User_Agent Hit Count
Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3,gzip(gfe),gzip(gfe) 104
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),gzip(gfe) 77
Baiduspider+(+http://www.baidu.com/search/spider.htm),gzip(gfe),gzip(gfe) 74
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html),gzip(gfe),gzip(gfe) 34
Java/1.6.0_04,gzip(gfe),gzip(gfe) 20
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10,gzip(gfe),gzip(gfe) 12
Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10,gzip(gfe),gzip(gfe) 11
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; InfoPath.1),gzip(gfe),gzip(gfe) 10
Mozilla/5.0 (Windows; U; Windows NT 5.2; zh-CN; rv:1.9.0.4) Gecko/2008102920 Firefox/3.0.4,gzip(gfe),gzip(gfe) 8
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp),gzip(gfe),gzip(gfe) 5
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322),gzip(gfe),gzip(gfe) 4
W3C_Validator/1.654,gzip(gfe),gzip(gfe) 3
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7 QQDownload/1.7,gzip(gfe),gzip(gfe) 3
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10 (.NET CLR 3.5.30729),gzip(gfe),gzip(gfe) 3
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07),gzip(gfe),gzip(gfe) 3
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322),gzip(gfe),gzip(gfe) 3
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html),gzip(gfe),gzip(gfe) 2
Yandex/1.01.001 (compatible; Win16; I),gzip(gfe),gzip(gfe) 2
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727),gzip(gfe),gzip(gfe) 2
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; QQDownload 528; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727; .NET CLR 1.1.4322),gzip(gfe),gzip(gfe) 1
ru2_viewer larbin2.6.3@unspecified.mail,gzip(gfe),gzip(gfe) 1
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322; .NET CLR 2.0.50215; fqSpider),gzip(gfe),gzip(gfe) 1
Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11; CollapsarTEXT,gzip(gfe),gzip(gfe) 1
comru_com_viewer larbin2.6.3@unspecified.mail,gzip(gfe),gzip(gfe) 1
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp),gzip(gfe),gzip(gfe) 1
Author: gzguoer Categories: technique Tags: search_engine,  bot,  spider