田中邦衛研究所|管理人日記

<<田中邦衛研究所トップページ  <<ブログトップ  管理人日記

近い将来、あらゆるコンテンツを統合します!

*****

生ログを見れば見るほど・・・Baidu

アクセス解析するのに、今ならGoogleAnalyticsなんていう便利なツールが用意されている。

ここ数ヶ月、自前で仕込んだ生ログを見ているが、アクセスのほとんどが検索エンジンのクローラーと呼ばれるロボットだったりする。ロボットにサイトを見に来てもらいインデックスしてもらうことで、検索エンジンからのアクセス機会も増えるから、ある意味、ロボットからのアクセスはサイト運営者と検索エンジンロボットの持ちつ持たれつの関係でもあったりするんだけれど、それにしてもBaiduのロボットはいかがなものか。

他のサイトで、これまでBaiduのアクセスを禁止した等の記述を見ていたが、その気持ちがすごく実感できる。とにかく、手当たり次第に、時間かまわずサイトを取得しにきて、かつすでに取得したページですら何度も何度もやってきてログを残しまくる。

Googleのロボットの動きとBaiduのロボットの動きを比較すると、技術の差に大きな違いが感じられたことがある。
たとえば、ある月の1日にサイトをフルリニューアルしたとする。サイトがリニューアルされたと知ったら、ロボットはその日のうちにおおよそのページを取得していった。んで、その後しばらくは、平穏が続き、その翌月1日に再びページが変更されていないか、確認しにきた。それが、まー、下のグラフ。

f0104645_9293727.jpg

しかし、Baiduはどうかっていうと、IPアドレスを変えまくって、とにかく毎日、時間かまわず取って取って取りまくって帰る。そして、また数時間すると、ページを略奪しにやってくる。いくら持ちつ持たれつの関係といっても、これはやりすぎだろう。

そんなわけで、下に関連記事を。
百度 日本法人、「Baiduspider問題」への対応を表明
baidu.jp を拒否る。

[PR]

by p_up_kuniken | 2009-11-04 09:32 | ブックマーク

<< Flash ActionScr... 1年越しにiPhone >>

これよりメニュー開始

ブログトップ

*************

田中邦衛研究所|管理人日記