こんにちはゲストさん。会員登録(無料)して質問・回答してみよう!

解決済みの質問

サイトのあるページだけ検索エンジンでヒットしないようにするには?

お願いします。

最近、ヤフーの検索エンジンのシステムが変更に
なったときき、自分のさいとのキーワードで検索を
したら、CGIで作成されたページがヒットする
ようになっていました。グーグルで検索すると
そのページは出てきません。

自分のサイトはCGIで作成されたページとそうで
ないページがあります。CGIで作ったページ
(掲示板など)は検索エンジンで検索されたくない
のですが、どうすればよいでしょうか?

<META NAME="ROBOTS" CONTENT="NOARCHIVE">などと
いれれば、いいときいたのですがこれをいれると、
入れたページだけが検索されなくなるのでしょうか?
それとも、サイト全体が検索システムから削除されて
しまうのでしょうか?

index.html-page1
     ├page2
     ├page3
     ├page4(CGI)-page5(CGI)
             ├page6(CGI)

自分のサイトはこんな構成になっています。CGIで
作成されたページだけ検索エンジンで拾われないよう
にしたいです。

わかるかた教えてください。

投稿日時 - 2004-06-19 08:18:47

QNo.897315

すぐに回答ほしいです

質問者が選んだベストアンサー

サイト全体ではなく、ページだけの制御です。

<META NAME="ROBOT" CONTENT="NOARCHIVE">

これはキャッシュページのみを削除するものであり、Google の場合は引き続きページのインデクス付けを行い概要表示はします。ということなので、これだけでは不十分ではないでしょうか。

<META NAME="ROBOT" CONTENT="noindex">

検索データベースへの登録を禁止します。
ですので結局、

<META NAME="ROBOT" CONTENT="noindex,noarchive">
にしておけばいいのではないでしょうか。


◎ 別の方法として robots.txt を使う方法もあります。サイトのトップディレクトリに検索ロボットに検索されたくないディレクトリを記述しておきます。

User-agent: Googlebot
Disallow: /secretdir/
Disallow: /cgi-bin/

こうすると指定ディレクトリ全体を検索しなくなりますので掲示板の吐き出す HTML だけをここに入れるよう CGI 変更すればいいのではないでしょうか?

robots.txt を使うと見られたくないディレクトリはここですよと他人に公言していることになる(^^;ので、そこには index.html を置かない方がいいかも知れません。たとえば http://*****.com/secret/
とした場合にそこにあるデフォルトのページ(通常は index.html)が参照されてしまうからです。

ただディレクトリ参照が許可されている設定のサーバだとファイルが一覧で出てしまうのでその場合は中身の無意味なダミーの index.html を置いておけばいいでしょう。

>最近、ヤフーの検索エンジンのシステムが変更になったときき、

そうなんですか?ちょっとこれは知りません…。

投稿日時 - 2004-06-19 08:49:46

お礼

ありがとうございました。

投稿日時 - 2004-06-20 06:59:25

このQ&Aは役に立ちましたか?

4人が「このQ&Aが役に立った」と投票しています

-広告-
-広告-

回答(4)

ANo.4

No.1ですが、間違ってました。

1)除外したいパスをDisallowに指定したrobots.txtを記述する。
2)robots.txtは/(DocumentRoot直下)に配置する。

――ってのが、正しい使い方でした。

参考URL:http://www.robotstxt.org/wc/norobots.html

投稿日時 - 2004-06-19 09:07:10

お礼

ありがとうございました。

投稿日時 - 2004-06-20 06:59:57

<meta name="robots" content="****">

この、****の部分に何を入れるかで変わります

index ・・・ このページの掲載を許可
follow ・・・ このページからリンクされているページの掲載も許可
noindex ・・・ このページの掲載を認めない
nofollow ・・・ このページからのリンク先の掲載を認めない

このページだけ認めない。これ以下のページも認めないならば
noindex nofollowで良いと想いますよ。

投稿日時 - 2004-06-19 08:43:00

お礼

ありがとうございました。

投稿日時 - 2004-06-20 06:58:59

ANo.1

フォルダpage4直下にrobots.txtを配置しておくのが、一般的な方法です。
無視するクローラもありますが。

参考URL:http://help.yahoo.co.jp/help/jp/ysearch/slurp/slurp-04.html

投稿日時 - 2004-06-19 08:40:25

お礼

ありがとうございました。

投稿日時 - 2004-06-20 06:58:38

-広告-
-広告-

あなたにオススメの質問

-広告-
-広告-