ウェブサイトを作成したらrobots.txtを作ろう

ブログやホームページを作成したあと、とりあえずすることにもいろいろあると思うのですが、意外にrobots.txtというのは盲点になりやすいかと思います。
どのみち、クローラーがやってきてくれれば、勝手にインデックスしてくれるはずですので、あえば、robots.txtで許可しなくてもいいのではないかっていう気もしますが、あるのとないのとでは、多少は違うような気がするのです。
これは主に、初期の段階でっていうことですが、いつまでたってもクローラーがインデックスしてくれないという場合には設置してみてはいかがかと思います。

私の場合、オールドドメインなるものをちらほらと使っているのですが、傾向からいうと、グーグルでもヤフーでもほっておいてもすぐにインデックスしてくれるという印象があります。
特に、たくさんの被リンクが残っている場合などは、ちょくちょくクローラーがやってきてくれるようです。
でも、オールドドメインといっても、やはり、被リンクが少なかったりする場合には、コンテンツボリュームを増やしたり、リンクを貼ったりという地道な作業が必要になるケースが多いです。

そんなとき、ぼくはrobots.txtをあえて入れるようにしてるのですが、若干、改善することがあります。
クローラーの気持ちから考えると、あえて中に入ってもいい?と聞くのもなんですし、はっきりいってくれないと...っていうのがあると思うんで、なるべく、OKだよっていうのは明示しておいてあげた方がいいかと思います。
robots.txtの中身に関しては、すべてのクローラーを許可する場合、こんな感じで書いておきます。

User-agent: *
Allow: /
これでたいていのクローラーは巡回してくれることでしょう。