その一つが、全ページに
<meta name="robots" content="noindex,nofollow">
という記述を入れたら、どのような動きをするかと言うものです。つまり、検索エンジンごとに、どれくらい早く、この記述を認識してくれるかの実験です。この記述は、検索エンジンに対し、インデックスをしない事、そして、リンク先を辿らない事を指示しているものです(言うまでもありませんが、目的もなく、運営中のサイトでこの実験を真似しないで下さい。当方では一切の責任は取れません)。
今回の実験では「robots.txt」は使わずに、あくまでメタタグでの記述だけでの経過を見ています。
まずは、インデックス数の変化を見てみたいと思います。
<実験データ>
・noindexは5/19に全ページに記述。そのため、5/19から5/30までのデータを紹介します。
・Yahoo!カテゴリ登録サイトではありません。
・このサイトのキャッシュ間隔はまちまちですが、2010年に入ってからは、2日〜2週間程度の範囲に収まっている事を参考までに書かせていただきます。
<インデックス数の変化>

これは、想像していなかった結果というと、Yahoo!には申し訳ないのですが、noindexを一番素直に聞き入れているのがYahoo!という結果になりました。想像以上に早く驚きました。
Googleはゆっくりと減少していますが、Yahoo!は5/24から坂道を下るように減少しています。
<順位の変化>

実験ページで、どのタイミングでランクに変動があるのかを示したグラフです。分かりやすい動きのキーワードを選択して紹介しております。
Googleは5/19にnoindexを記述した後、5/21に圏外に消えました。しかし、5/24に299位に一瞬戻って、また次の日には圏外へ消えました。
Yahoo!は5/28に圏外に消えました。
正直言いまして、Bingは「予想通り」で、まだ動きはありません。
ちなみに、Bingのヘルプにはこのように書いてあります。
★Bing のインデックスから Web サイトを削除する
Bing では、インデックス登録が更新され、変更内容が反映されるまでに数週間かかることがあります。
いずれにしても、もうしばらく時間をおかないと動きは出ないと思われます。
今回は、普段ではなかなか試す事ができない、サイト全体のnoindex実験の動きを紹介させて頂きました。
当然の事ながら、サイトの状況によっては、結果は異なると思いますので、一つのサンプルとして参考にしていただければと思います。
◆ご相談はセルフSEOコンサルタントのSEMアドバイザーまで
◆「疑問意識力」でマーケティング力を鍛える