ナレッジ 2013.04.30 Google, MSN, SEO, Yahoo!, クローラー, クローラー（ボット）の動きを制御する 仕事であるサイトのアクセスログを見たところ、クローラー（以下ボット）からのアクセスしかない状態でした。 ただ、ボットによってはマナーのなってない珍走団みたいなの物が存在しています。 珍走団の場合には制御できないので、対象IPアドレスを拒否するなどが一番でしょうが、一般的なボット（Goo […] 続きを読む
