複数行を単位としたログを grep する perl one liner

ログというのは行単位が基本。しかし、一部には複数行にまたがって出力されるものもある。そんなときにどう grep するかを考えた。JM で grep の man を見てみたが、良さそうなオプションは無かった。こんなときは perl で one liner を書くと楽だ。

- 複数行にわたるログの例。

架空のものだけど。

Date: 11/Jul/2003:09:05:21 +0900
Protocol: HTTP/1.1
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ja-JP; rv:1.4b)
Status: 200
--------
Date: 11/Jul/2003:09:05:30 +0900
Protocol: HTTP/1.1
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ja-JP; rv:1.4b)
Status: 304
--------
Date: 11/Jul/2003:09:06:00 +0900
Protocol: HTTP/1.1
User-Agent: Mozilla/5.0 (X11; U; Linux i686; ja-JP; rv:1.4b)
Status: 304

- デリミタ(区切り文字)で split する

明確な区切り文字があれば、そこで分割してから grep してやればいい。以下、デリミタが -------- で、linux という文字列が入ってるブロックを grep する例。
grep したいファイルが単数の場合

$ perl -0777 -ne 'print grep(/linux/i, split("--------", $_));' log.2003.07.10

grep したいファイルが複数の場合

$ perl -0777 -ne 'print grep(/linux/i, split("--------", $_));' log.2003.07*

- デリミタが改行2つの場合 \n\n

\n\n\ は、http リクエストやレスポンスにおいてヘッダとボディを分ける時にも使われる。

$ perl -0777 -ne 'print grep(/linux/i, split("\n\n", $_));' < log.2003.07.10.2lf_delimiter

デリミタが改行2つなので split() したら改行が消えて行が繋がってしまって残念な思いをするのを回避したい場合。なんか世話が焼きすぎな気もするが、以下のようにさらに \n\n で join() してやればいい。

$ perl -0777 -ne 'print join("\n\n", grep(/linux/i, split("\n\n", $_)));' < /cygdrive/n/pfexport.txt

- 解説

-n で全行を標準入力から取得している。
-0777 で セパレータを無効にしている。すなわちファイル全体が一つになる。

-n と -e だけだと、-e で指定したスクリプトが標準入力から一行読み込まれる度に実行される。一方、-0777 と -n を組み合わせると、とりあえず標準入力から全行を読み込み、$_ に格納し、一度だけスクリプトが実行される、という動きをするようだ。

$ perl -ne 'print "enjoy perl!"' < /cygdrive/n/pfexport.txt

としたとき、enjoy perl! は行数分 print されたが、

$ perl -0777 -ne 'print "enjoy perl!"' < /cygdrive/n/pfexport.txt

だと一度だけしか print されなかった。

あとは全体を指定したデリミタで split() して、配列に格納。配列を grep() してマッチした要素だけを取得して print してる。

一度にファイルを読み込んでしまうなど、効率の面ではあまり良くないけど、気にするな。