検索避けタグを入れても検索に引っかかってしまった

[統計] HTMLからXHTMLへの移行を進めていますか?



0   名前: 奈々 : 2006/06/24(土) 04:07  ID:9knLpBLC
先日からHPを制作しているのですが、検索避けタグを入れてもヤフー検索で引っかかってしまうようになりました。
色々調べてみたところ、オンラインブックマークが原因かもしれないという事がわかったので、オンラインブックマークを止めてもらう様サイトに注意書きを載せました。

お陰でオンラインブックマークをする方はいなくなったのですが、未だにヤフーの検索からこられている方がいます。

以前どこかでヤフーの検索から来た人には真っ白なページしか表示されないようにできるタグがあると聞いたのですが、調べてみてもどんなものか分かりません。

他にも、いい方法があれば教えてください。お願いします。

ちなみに、サーバーはFC2を使っています。検索避けタグは
<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW,NOARCHIVE">
<META NAME="ROBOTS" CONTENT="NOARCHIVE,NOINDEX,NOFOLLOW">
この二つをheadの間に入れています。

1   名前: 匿名 : 2006/06/24(土) 04:07  ID:BnulISAl
検索エンジンに見られたくない理由がないと何ともいえません。
それはあくまで「お願い」くらいの効力しかないですよ。

2   名前: 奈々 : 2006/06/24(土) 04:07  ID:9knLpBLC
お返事ありがとうございます。
検索エンジンに見られたくない理由としては、
二次創作をサイトで扱っているからです。
検索避けタグが100パーセントではないことは知っていますが、
そのほかにも何か対処方法はあるのでしょうか?

3   名前: カヅサツ ◆ThCi95HEzw : 2006/06/24(土) 04:07  [URL]  ID:ESXFAM4l
CGIあるいはBasic認証など(この場合JavaScriptは全くオススメしません)でパスワード制限をかけ、「入り口」に当たるページに(IDと)パスワードをかけておく、という手を思いつきました。

4   名前: あや : 2006/06/24(土) 04:07  ID:TRVH9wjM
 私も二次創作をおこなっていますが、私は「すべての」ページに下記の検索よけタグをテンプレートとして流し込んでいます(カヅサツさんのおっしゃる方法は私にはハイレベルすぎて理解できませんでした…涙…)。

<meta name="robots" content="noindex,nofollow,noarchive" />
<meta name="ROBOTS" content="none" />
<meta http-equiv="pragma" content="no-cache" />
<meta name="GOOGLEBOT" content="NOSNIPPET" />

↑はXHTMLなので「/」が入っています。これを入れておくといちど登録されたものでも数ヶ月後には消えているようです。
 ただ1.の匿名さんがおっしゃったようにこれは強制ではありませんし、何よりも二次創作を扱っていらっしゃるなら各種サーチや同盟に登録したり、お友達にリンクを貼ってもらうこともあるでしょう。そうするとそちらからたやすくたどることができます。
 つまり上のタグを流し込んだファイルを公開する一方で、各種サーチ・同盟に登録しない。リンクフリーにしないで数ヶ月待つとほぼ検索からは消えると思います。

5   名前: ????? : 2006/06/24(土) 04:07  ID:PFPRHSxA
>二次創作?
少々の疑問なんですが、「パクリ」ということなのでしょうか?
見てみたいので、是非 URLを…。

6   名前: Z ◆XTzyosZXcL : 2006/06/24(土) 04:07  ID:rvat93If
>>3 カヅサツさん
>>0で奈々さんは「サーバーはFC2を使っています」とありましたので、利用規約を探してみましたところ、アクセス制限をかけることについては

http://www.fc2web.com/kiyaku.html

【禁止事項】の8.または10.に該当すると思われます。よって、FC2ではこの手法は使えないでしょう。

>>4
 そもそも、いくらMETA要素にROBOT避けの記述をしたところで検索エンジンによってはそれすらも無視するかもしれませんし(>>2で「100%でないのは知っています」とあるので、その点についてはご存知とお見受けします)、「リンクするな」といったところで法的強制力は何もありません(ハイパーリンクあってこそのWWW(参考:http://www.kanzaki.com/docs/html/htminfo10.html#S1)です)。

 究極の対策としては、従前からのレガシーな媒体(紙文書など)による「オフラインでの」限定配布ということになるのではないでしょうか(もちろんこれでも「二次創作」という微妙な立場は変わらないですが)(^^;。ネットと結びつけるなら、電子メールによる問い合わせに対応するのみ、とか。

HTMLの基本)
http://members.jcom.home.ne.jp/jintrick/Personal/markup.html

7   名前: 木目 : 2006/06/24(土) 04:07  ID:aAXEceRZ
YAHOOヘルプ
「特定のページ、キャッシュを検索結果から削除したい」
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-12.html

に必要情報が載っていますよ。

8   名前: 木目 : 2006/06/24(土) 04:07  ID:aAXEceRZ
>・検索結果からページへのリンクや説明文の表示は許可しても、ページの内容を、キャッシュに保存したくない場合は、下記のHTMLを記述します。
><META NAME="ROBOTS" CONTENT="NOARCHIVE">

とあるので、記述は

><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

が良いのでは(NOARCHIVEが邪魔?)

また

>■注意
>下記のように2つ設定された場合は、タグが正確に解釈されない場合があります。
><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
><META NAME="ROBOTS" CONTENT="NOARCHIVE">

とのこと。
(片方はGOOGLEBOTへの拒否記述なので、重複設定にはならないと思いますが、一応)

9   名前: Z ◆XTzyosZXcL : 2006/06/24(土) 04:07  ID:rvat93If
 なお、W3Cの公式仕様書ではMETA要素のname属性について具体的な使用方法は書かれていません(一部例示されていますけれど、あくまで「例」なので)。

HTML4.01仕様書該当部分:
http://www.asahi-net.or.jp/%7Esd5a-ucd/rec-html401j/struct/global.html#h-7.4.4.2
http://www.w3.org/TR/html401/struct/global.html#h-7.4.4.2

仕様書の読み方など:
http://www.kanzaki.com/works/2001/pub/wsd01.html

 name属性の内容は”name[CS]”なので、「アルファベット([A-Za-z])で開始し、任意の数のアルファベット、数字、([0-9])、ハイフン(-)、アンダースコア(_)、コロン、(:)、ピリオド(.)のみで記述する必要」があり、かつ「値に大文字小文字の区別がある。すなわちユーザエージェントは「a」と「A」とを異なるものと解釈」します。
 つまり、”ROBOTS”と”robots”と”RoBots”はそれぞれ別の値として処理されますので注意です(少なくともW3Cの公式仕様を遵守する検索エンジンの場合)。

 例えばGoogleの場合、

「ページの削除」
http://www.google.co.jp/intl/ja/remove.html

で示されていますのでそのように記述してください。
(仕様書の方の例示では小文字で書いてますが、どちらが優先するかといえば検索エンジンの方の仕様でしょう。)
#>>0,>>4,>>8を足して3で割ったような話になっています。

10   名前: 奈々 : 2006/06/24(土) 04:07  ID:9knLpBLC
皆様たくさんの回答ありがとうございます。

>カヅサツさん
そうですね、残念ながらZさんの言うとおり、アクセス制限は使えないみたいです。
最悪サーバーを変えることも考えてますので、そうなるとこの方法を使うかもしれません。ありがとうございました。

>あやさん
一番上のタグは入れてますね。検索避けタグにも色々あるのですね……勉強になりました。そうですね、自分がリンクしているサイトが検索よけをされてないと、一緒に引っかかってしまうというのは聞いた事があります。ありがとうございました。

>Zさん
色々とありがとうございます。そうですね、究極の方法はオフラインに切り替えることなんですが……。紹介してくださったHPを見て色々勉強しようと思います。何度もありがとうございました。

>木目さん
検索結果からページのリンクも、出来るなら拒否したいので……でもそうすると検索避けタグでは限界があるんですよね。
何度もありがとうございました。

一覧へ戻る