投稿日:2013年4月30日2013年5月28日ナレッジ クローラー(ボット)の動きを制御する 仕事であるサイトのアクセスログを見たところ、クローラー(以下ボット)からのアクセスしかない状態でした。 ただ、ボットによってはマナーのなってない珍走団みたいなの物が存在しています。 珍走団の場合には制御でき… 続きを読む