クローラーが巡回できるように作成お願いします

はじめに

googleやyahooなどの検索結果からサイトへアクセスしたときにログインページに飛ばされてしまう。
これは正しい挙動なんですけどサービスオープンしてしばらくしても全然アクセスがこない。

で、調べてみるとgoogleにはログインページしかインデックスされていないことが判別。
なんてことはたまにあると思います。プログラマーって意外とこういうことを意識しないことがあるので依頼する側はちょっと気をつけた方がいいかも。

インデックスされてるか調べてみる

http://example.comというサイトだったら
site:example.comといれてgoogleで検索するとインデックスされてるページが結果に表示されます。

実装方法

fuelphpで実装してみる。

app.php(共通処理)
<?php
class Controller_App extends Controller
{
    public function before()
    {
        parent::before();

        if (Agent::is_robot()) {
          // クローラーはなにもしない
        } else {
          // クローラー以外で未ログインだったらログインページへリダイレクトなど
        }
    }
}

page1.php
<?php
class Controller_Page1 extends Controller_App
{
}

こんなかんじで実装してあげるといいと思います。
サイト運営側するとそれくらいやっておいてよってことも開発側の経験などによってはスルーされることもあるのでお互い気をつけるしかないですね。という話でした

「クローラーが巡回できるように作成お願いします」と言っておくと確実ですね笑

以上です