語尾変換プログラムは検索エンジンロボット避けを設定するべきだ

語尾変換プログラムで変換されたページが検索エンジンにインデックスされてしまい、それを見たオリジナルのサイトの作者が困っている。私は、語尾変換プロキシのサービス提供者はロボット避けを実装すべきだと考える。

- 語尾変換プログラムの何が問題なのか

語尾変換プログラムを通した後の変換結果ページが Google などの検索エンジンにインデックスされ、多数の人の目に触れることが問題。

によないざーが不評です
http://circle.cc.hokudai.ac.jp/cgi/ryu/tdiary/index.rb?date= ...

　によないざーとは、昔作ったプログラムで、これを通すと語尾がにょ。になる似非変換プロキシーである。 はすみないざーなどにインスパイヤされて作成したものだ。

が、これによって変換された結果が、googleの検索結果に載るらしく、当該サイトの管理人さんから苦情のメールが来た。しかも僕個人宛ではなくサークルサーバー委員会あてである。

googleの検索結果にまで文句言われてもなあ。というのが正直なところなのだが。どういう対応が正解なのだろうか。

また、以下のようにページ自体の存在に困惑している人もいるようだ。

ツッコミ[6]
http://circle.cc.hokudai.ac.jp/cgi/ryu/tdiary/index.rb?date= ...

突然の書き込みお許し下さい。
先日、私のブログがそちらのプログラムで語尾を書き換えされたものがアップさせているのをみつけました。プログラムをみて誰かがやったものが残ってるのかと思いますが・・・どうやったら削除できますか。メールアドレスが公開されていなかったので・・・こちらで、すみません。

- 語尾変換プログラムとは

語尾変換プログラムは、文章の一部をを書き換える機能を持つ。

たとえば、「によないざー」という語尾変換プログラムを通すと、朝日新聞社の asahi.com も以下のように語尾に「にょ」が付く。
http://circle.cc.hokudai.ac.jp/cgi/ryu/rplace.rb?source=uri& ...

翻訳サイトなども同じような技術を使っている。以下は、Landscape を英語に翻訳したページ。こちらは当然ながら変換対象は語尾にとどまらない。
http://www.excite.co.jp/world/english/web/?wb_url=http%3A%2F ...

- 語尾変換プログラム作成者は何をすればいいのか

変換結果を見たオリジナルページの作成者から問い合わせを受け、それに一つ一つ対処するというやり方では、双方の手間がかかりすぎる。また、そういった対処を煩わしく感じる語尾変換プログラム作成者がサービスをやめてしまうというのも寂しい。オリジナルページの作成者、語尾変換プログラム作成者、変換プログラム利用者それぞれにメリットがあるようするのが理想。

まず、変換結果ページが検索エンジンに載らないようにすることが効果的だろう。そうすれば人目に触れることが少なくなり、変換ページが内輪で完結する確率が高くなる。変換プログラム作成者側としても、オリジナルページの作成者から苦情があったときに「検索エンジンには載らないように対処してます」と言えるし。

meta タグによるロボット避けでもいいし、robots.txt によるロボット避けでもいい。
ちなみに前述のエキサイトの翻訳サービスでは robots.txt によるロボット避けを設定している。

http://www.excite.co.jp/robots.txt

User-agent: *
Disallow: /relocate/
Disallow: /search.gw
Disallow: /world/english/web/body
Disallow: /world/chinese/web/body
Disallow: /world/korean/web/body

次に、GET メソッドを使わずに、POST メソッドを使うこと。POST するには基本的にフォームを使う必要があるので、一般のユーザーには「変換アプリケーション」という特別なシステムである、という印象を与えることができる。特別なものなので、ただ、これだと問題があって、変換結果のページからリンクをたどったときは GET になってしまうので、JavaSctipt などで一工夫する必要がある。

あとは、エキサイトの翻訳サービスのように上部にフレームを設けたりするなどして、迷い込んできたユーザに情報を提示するなどしてもいい。

- URL を与えるということ

個人的には、こういった変換プログラムは好きだ。「大阪弁変換プロキシ」とかで楽しんだ覚えがあるし。

2004-02-07 の 「クマー アスキーアート化 Bookmarklet」も語尾変換プログラムと同じような技術だが、変換後のページの URL が存在しないという点が大きく異なる。何かのリソースに URL を与えると、そのリソースは「アクセスされたがっている」状態になる。その「アクセスされたがっている」リソースのせいで問題が起きるなら、それを解決する仕組みを考えなければならない。

時間がないので、今日はここまで。当記事にはあとで追記するかもしれない。