Yahoo!

クローラー(ボット)の動きを制御する

仕事であるサイトのアクセスログを見たところ、クローラー(以下ボット)からのアクセスしかない状態でした。 ただ、ボットによってはマナーのなってない珍走団みたいなの物が存在しています。   珍走団の場合には制御できないので、対象IPアドレスを拒否するなどが一番でしょうが、一般的なボット(Goo […]