はてなダイアリーでロボット避け meta タグを設定

http://d.hatena.ne.jp/sonic64/ に当サイト Landscape の目次を置くようにしてみた。別件ではてなダイアリーについて調査してたんだけど、せっかく作ったアカウントを死蔵するのはもったいないと思ったため。たつをさんがやってる http://nais.to/~yto/clog/2005-05-09-1.html の真似。ちなみにページ名は「Landscape - エンジニアのはてな」にしておいた。

ただ、置いているのはあくまでも目次。検索エンジンでは目次よりも本文がヒットして欲しいし、同じコンテンツがたくさんあるとユーザを迷わせるかもしれないので、目次にはロボット避けを設定したい。

- はてなダイアリーでロボット検索避け

ロボット避けは 2003-06-08 で書いたように、meta 要素か robots.txt で設定するのが一般的。robots.txt はそのドメインの管理者向けなので、はてなダイアリーでは meta 要素くらいしか使えないだろう。HTML としては meta 要素はhead 要素内に書かなければならない。でも、はてなダイアリーでは html のうち書き換えられる部分は body 要素など一部だけで、head 要素には手が出せない。どうすればいいんだろう?

何度か検索を繰り返したら、はてなダイアリーでロボット除けをする方法が見つかった。

http://d.hatena.ne.jp/keyword/%a4%cf%a4%c6%a4%ca%a5%c0%a5%a4 ...

Q：ロボット検索を避けたい。

A：ダイアリーやアンテナの管理ツール画のヘッダー部分に、

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
を設定します。

その他、サーチエンジン対策のための様々なメタタグ（META要素）については、

Google ページの削除‐個々のページを削除する　http://www.google.co.jp/intl/ja/remove.html#exclude_pages
などを参考にしてください。

※META要素はHTMLの本来の書き方としてはHEAD要素に書き込まねばなりませんが、はてなダイアリーでは個々のユーザがスタイルシート以外のHEAD要素を設定することが出来ないため、あくまでも便宜的にMETA要素をBODY要素内の「ヘッダ」に書き込むことでロボットに認識させるという手段をとっています。

そうなんだ。たいていの検索エンジンは body 中の meta 要素も検出してくれるということか。知らなかったよ。

管理画面で <meta name="robots" content="noindex,follow"> を設定して完了。確認にためにもう一度表示させてみる。

<meta content="noindex,follow" name="robots">

あれ? なんか name と content の順番が逆になってる。ひょっとして、はてなダイアリーではアルファベット順に属性をソートしてるのかな。まあ問題ないだろうけど。

追記。
設定を入れてしばらく経ってから http://d.hatena.ne.jp/sonic64/ を検索してみると、ちゃんと消えてる。よしよし。
http://www.google.co.jp/search?hl=ja&lr=lang_ja&ie=e ...

- 本文にロボット避けを仕込んで、スパムサイトを検索から締め出せないかな

でも、本文中のロボット避けを解釈するってことは、html のサニタイズが甘いとロボットの制御権を奪われかねないな。

たとえば、最近よくある RSS から勝手に本文を抽出し、そのキーワードのまとめサイトみたいのを作ってるスパムサイト。有用な Planet や RSS 検索ではなく、単なる広告目的なやつ。RSS の本文中に meta 要素でロボット避けを入れておけば、そういうサイトを検索エンジンから消滅させることができるかも。・・・と思ったけどダメかな。サニタイズってライブラリでやってるだろうし、そのライブラリは使える要素を個別に指定できるタイプだろうからなあ。そんな甘い作りにするわけないか。