Landscape - エンジニアのメモ 2003-04

SqlConnection con = new SqlConnection("server=10.3.31.89;database=NorthWind;user id=sa;password=;");
SqlCommand sqlcmd = new SqlCommand("SELECT * FROM Customers;", con);
con.Open();
SqlDataReader sqldr = sqlcmd.ExecuteReader();
while (sqldr.Read()) {
    Console.WriteLine(sqldr["CompanyName"].ToString());
}
sqldr.Close();
con.Close();

- Redhat9 ミラーサイト http://www.redhat.com/download/mirror.html

- Winny を使ってダウンロードする http://www.geocities.co.jp/SiliconValley/2949/

- BitTorrent を使ってダウンロードする

- md5sum

- 下調べ

- いざ分解

- うーん、どう見てもケーブルの形状が違うんだけど・・・

- アダプタ選び

- あとは簡単

- CDF-R880 は外部入力端子付き

$ ln -s TARGET DIRECTORY

UPDATE pg_shadow SET usesuper = true WHERE usename = 'hiroaki';

GET ftp://ftp.ring.gr.jp/pub/linux/ HTTP/1.1
Host: ftp.ring.gr.jp

GET ftp://anonymous:saitou-hiroaki%40example.com@ftp.ring.gr.jp/pub/linux/ HTTP/1.1

PUT ftp://anonymous:saitou-hiroaki%40example.com@ftp.ring.gr.jp/pub/linux/Zip7Search.dll HTTP/1.0
Proxy-Connection: Keep-Alive
User-Agent: Mozilla/4.78 [en] (Windows NT 5.0; U)
Pragma: no-cache
Host: ftp.ring.gr.jp
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, image/png, */*
Accept-Encoding: gzip
Accept-Language: ja,en
Accept-Charset: iso-8859-1,*,utf-8
Content-Length: 6144

HTTP/1.0 500 Internal Server Error
Server: Squid/2.2.STABLE5
Mime-Version: 1.0
Date: Thu, 24 Apr 2003 09:55:52 GMT
Content-Type: text/html
Content-Length: 896
Expires: Thu, 24 Apr 2003 09:55:52 GMT
X-Squid-Error: ERR_FTP_PUT_ERROR 0
X-Cache: MISS from unknown
Age: 286
Via: HTTP/1.0 hostname (Traffic-Server/4.0.19 [cMs f ])
エラー
FTP アップロードは失敗しました

以下の URL を PUT しようとした際に:
ftp://anonymous@ftp.ring.gr.jp/pub/linux/Zip7Search.dll
Squid は以下の ftp コマンドを送りましたが:

        STOR Zip7Search.dll

このような結果を受け取りました．

        Zip7Search.dll: Permission denied on server. (Upload)

この意味は次の通りです:

  パス，パーミッション，ディスクの空き容量を確認し，再度試してください．

Generated Thu, 24 Apr 2003 09:55:52 GMT by unknown
(Squid/2.2.STABLE5)

- 欲しい機能

- 仕様

my @date_part = split(/^(?!\t|\n)/m, $str);

- 2003-03-31 に書いた bash の補完で悩む。

complete -u {su,finger,chown}

- tcsh ならば引数位置による補完対象を指定できるようだが、bash では指定できないようだ。

- Working more productively with bash 2.x

# chown(1) completion
#
_chown()
{
    local cur prev user group i

    COMPREPLY=()
    cur=${COMP_WORDS[COMP_CWORD]}
    prev=${COMP_WORDS[COMP_CWORD-1]}

    # options completion
    if "$cur" == -* ]]; then
        COMPREPLY=( $( compgen -W '-c -h -f -R -v --changes \
        --dereference --no-dereference --from= --silent --quiet \
        --reference= --recursive --verbose --help --version' -- $cur ) )
        return 0
    fi

    # first parameter on line or first since an option?
    if [ $COMP_CWORD -eq 1 ]; then
        if [[ "$cur" == [a-zA-Z]*[.:]* ]] && \
           [[ ${BASH_VERSINFO[1]} > 04 ]]; then
            user=${cur%%?(\\)[.:]*}
            group=${cur#*[.:]}
            COMPREPLY=( $( compgen -P $user':' \
                    -g -- $group 2>/dev/null) )
        else
            COMPREPLY=( $( compgen -S ':' -u $cur ) )
        fi
    else
        _filedir
    fi

    return 0
}
complete -F _chown $filenames chown

- 2003-04-18 と 2003-04-22 から続く整形スクリプト。

- 今までとは別の one liner を考えた。今回の方が表記自体はスマートだと思う。

$ perl -p -i.bak -e 's/^((?!\t)(?!\d{4}-\d{2}-\d{2}\s+.*?<.*>).+)/\t$1/; s/\s+$/\n/;' /home/hiroaki/log.txt

- でも性能が悪いみたい。

$ time perl -p -i.bak -e 's/^((?!\t)(?!\d{4}\-\d{2}\-\d{2}\s+.*?<.*>).+)/\t$1/; s/\s+$/\n/;' /home/hiroaki/log.txt

real    0m0.567s
user    0m0.470s
sys    0m0.080s

- changelog_util.sh

#!/bin/bash
# ChangeLog memo util

# setting
LOG_PATH=/home/hiroaki/log.txt

DATE_STR=`date +%Y%m%d%H%M%S`
BACKUP_DIR=/home/hiroaki/backup/changelog
BACKUP_FILE_PATH=${BACKUP_DIR}/log.txt_${DATE_STR}.bak

# main routine
cp ${LOG_PATH} ${BACKUP_FILE_PATH}
perl -p -i.bak -e 'if ($_ =~ /^[^\t]/) { if ($_ !~ /^\d{4}-\d{2}-\d{2}\s+.*?<.*>$/) {$_ = "\t" . $_;} $_ =~ s/\s+$/\n/;}' ${LOG_PATH}
/home/hiroaki/chalow-0.13/chalow ${LOG_PATH} -c /home/hiroaki/chalow-0.13/cl.conf &>/dev/null
find /home/hiroaki/backup/changelog/ -type f -mtime +7 |xargs /bin/rm -f

- 整形スクリプトの所要時間を計測。

$ time perl -p -i.bak -e 'if ($_ =~ /^[^\t]/) { if ($_ !~ /^\d{4}-\d{2}-\d{2}\s+.*?<.*>$/) {$_ = "\t" . $_;} $_ =~ s/\s+$/\n/;}' /home/hiroaki/log.txt

real    0m0.480s
user    0m0.390s
sys    0m0.070s

- 毎回タブ付けてキレイにインデントしながらメモを取るなんてかったるいことやってられねーよ、

$ perl -p -i.bak -e 'if ($_ =~ /^[^\t]/) { if ($_ !~ /^\d{4}-\d{2}-\d{2}\s+.*?<.*>$/) {$_ = "\t" . $_;} $_ =~ s/\s+$/\n/;}' /home/hiroaki/log.txt

ScriptAliasMatch /~(..*)/cgi-bin/(.*) /home/$1/public_html/cgi-bin/$2

- httpd.conf に以下の行を追加する。sonic ではこの方法を採用。

<Directory /home/*/public_html/cgi-bin>
  AddHandler cgi-script .cgi
  AllowOverride FileInfo AuthConfig Limit
  Options ExecCGI
</Directory>

- httpd.conf の <Directory /home/*/public_html> で

<Limit GET POST>
  AddHandler cgi-script .cgi
  Options ExecCGI
</Limit>

psql -l -P format=unaligned -P fieldsep=, -P tuples_only |perl -F, -lane "if (@F[0] ne 'template0') {print @F[0]}"

# /usr/local/apache/bin/apachectl configtest

- perl オブジェクト指向についての文書がある。記述が詳細でわかりやすい。

- クロージャ (closure) の利点と使い方についての文書もある。

クロージャを一言で説明すると、「実行する関数とアクセス可能な局所変数をまとめたオブジェクト」

- 先頭にタブが入っていない場合で、日付の行ではなかった場合にタブを付加する。

#!/usr/bin/perl
use strict;

defined($ARGV[0]) or die __FILE__ . ": target file not specified\n";
my $memo_file = $ARGV[0];
my @line = &ReadFile($memo_file);
my $str = '';
foreach my $buf (@line) {
  if ($buf =~ /^[^\t]/) {
    if ($buf !~ /^\d{4}-\d{2}-\d{2}\s+.*?<.*>$/) {
      $buf = "\t" . $buf;
    }
  }
  $buf =~ s/\s+$/\n/;
  $str.= $buf;
}
&WriteFile(1, $str, $memo_file);

# 引数で指定されたファイルを読み込み、呼び出し側のコンテキストに応じた形で返す
sub ReadFile($) {
  my $target_file = $_[0];
  my @lines = ();

  if (! -e $target_file) {
    die(__FILE__ . ": error: ReadFile(): $target_file not found.");
  }
  if (! -r $target_file) {
    die(__FILE__ . ": error: ReadFile(): $target_file: permission denied.");
  }
  open(FILE, $target_file) or die(__FILE__ . ": error: ReadFile(): can not open $target_file.");
  flock(FILE, 1);
  @lines = <FILE>;
  close(FILE);

  return (wantarray ? @lines : join('', @lines));
}

# テキストデータをファイルに書き込む
# 引数1 : 0のとき追記、1のとき上書き
# 引数2 : データ (スカラー)
# 引数3 : ファイル名
# 返り値 : 書き込み成功のとき 1
sub WriteFile($$$) {
  my ($overwrite, $data, $target_file) = @_;
  if (-e $target_file) {
    if (! -w $target_file) {
      die(__FILE__ . ": error: WriteFile(): $target_file: permission denied.");
    }
  }

  my $err_msg = __FILE__ . ": error: WriteFile(): Can not open $target_file.";
  if ($overwrite) {
    open(FILE, ">$target_file") or die($err_msg);
  } else {
    open(FILE, ">>$target_file") or die($err_msg);
  }
  flock(FILE, 2);
  print(FILE $data);
  close(FILE);

  return 1;
}

#/bin/sh

# PostgreSQL database backup script
# Version 1.1 [Apr. 17, 2002] Add routine: deleting exipired files.
# Version 1.0 [Sep. 10, 2002] First release.
#  Saito Hiroaki  <example@example.com>

# * Feature
# Dump to DATABASE_NAME_YYMMDD.pgdmp.
# Delete expired pgdmp file.
# Output log.

# Setting
PATH="$PATH":/usr/local/pgsql/bin
PG=/usr/local/pgsql
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH":$PG/lib
export PGLIB=$PG/lib
export PGDATA=$PG/data

# Get all DB name
TARGET_DB=`psql -l -P format=unaligned -P fieldsep=, -P tuples_only |perl -F, -lane "if (@F[0] ne 'template0') {print @F[0]}"`

DIR=/home/postgres
LOG=$DIR/pgdump.log
BACKUPDIR=$DIR/dbbackup
EXPIRE_DAY=90

# Main routine
echo "pg_dump start." `date` >>$LOG
date=`date +%Y%m%d`

for db_name in $TARGET_DB
do
  DUMP_FILE_PATH=$BACKUPDIR/${db_name}_${date}.pgdmp
  /usr/local/pgsql/bin/pg_dump $db_name -b -o -Fc > $DUMP_FILE_PATH 2>>$LOG
  echo "Database $db_name backup complete." `date` >>$LOG
done

echo "pg_dump complete." `date` >>$LOG

echo "Delete expired pgdmp file start." `date` >>$LOG
find $BACKUPDIR -type f -daystart -mtime +$EXPIRE_DAY |xargs /bin/rm -f
echo "Delete expired pgdmp file complete." `date` >>$LOG

-U, --username=NAME      connect as specified database user
-W, --password          force password prompt (should happen automatically)

$ find /home/postgres/dbbackup -type f -daystart -mtime +n |xargs /bin/rm -f

- 172.16.4.1 の場合

$ telnet 172.16.4.1 17216
Trying 172.16.4.1...
Connected to 172.16.4.1.
Escape character is '^]'.
CONNECT www.google.com:443 HTTP/1.1
Host: www.google.com

HTTP/1.0 200 Connection established

Connection closed by foreign host.

- 172.16.4.2 の場合

$ telnet 172.16.4.2 17242
Trying 172.16.4.2...
Connected to 10.2.4.2.
Escape character is '^]'.
CONNECT www.google.com:443 HTTP/1.1
Host: www.google.com

HTTP/1.1 200 Connection established
Date: Tue, 15 Apr 2003 11:10:45 GMT
Age: 0
Connection: close
Via: HTTP/1.0 hostname (Traffic-Server/4.0.19 [c sSf ])

Connection closed by foreign host.

$ telnet 10.3.31.90 80
Trying 10.3.31.90...
Connected to 10.3.31.90.
Escape character is '^]'.
OPTIONS * HTTP/1.1
Host: localhost

HTTP/1.1 200 OK
Date: Wed, 16 Apr 2003 02:35:15 GMT
Server: Apache/1.3.26 (Unix) PHP/4.2.1
Content-Length: 0
Allow: GET, HEAD, OPTIONS, TRACE

Connection closed by foreign host.

TimeoutLogin 300
TimeoutNoTransfer 3600
TimeoutStalled 3600
TimeoutIdle 3600

- 2003-04-15 に作った「日付と表題一覧を付加する」perl スクリプト、実はバグあり。

my @part_by_date = ($source =~ /^(\d{4}\-\d{2}\-\d{2}.*?)\n\n/msg);

- 作ったけど適用してない。どこに適用するのが適切なのかを探す時間がないから。

my $tmplt_dt = '<dt>%s</dt>';
my $tmplt_dd_start = '<dd><ul>';
my $tmplt_dd_end = '</ul></dd>';
my $tmplt_li '<li>%s</li>';
my $html = '<dl class="subject_list">';
my @part_by_date = ($source =~ /^(\d{4}\-\d{2}\-\d{2}.*?)\n\n/msg);
foreach my $part (@part_by_date) {
  my $date = ($part =~ /^(\d{4}\-\d{2}\-\d{2})/)[0];
  $html .= sprintf($tmplt_dt, $date);
  $html .= $tmplt_dd;
  my @subject = ($part =~ /^\t\*\s+(.*?)$/mg);
  foreach my $subject_str (@subject) {
    $html .= sprintf($tmplt_li, $subject_str);
  }
  $html .= $tmplt_dd_end;
}
$html .= '</dl>';

- VARCHAR(n) の文字数とは、SQL92 の定義に則れば、

- しかし、7.2 未満の Postgres は上記仕様を満たしていなかった。

もともとPostgreSQLのマルチバイト実装におい
ては，『処理系の定義する特定の文字集合』とは，データベースごとに決まる
エンコーディングです．日本のユーザならたいていEUC_JPでしょう．

- VARCHAR(n) の文字数とは直接の関係はないが、知っておくべき情報もいくつかあった。

- CHAR 型 はスペースでパディングされるために結構コストが高い。

char型の場合、たとえばCHAR(10)で確保した列に100万行を挿入す
れば、その列にどんな長さの文字列を挿入しようとも、きっちり10
バイト×行数（この場合には1000万バイト）の領域が必要になりま
す。しかし、varchar型やtext型の場合には、実際に挿入した文字列
の長さ+4バイトしか使いません。ですから、長さがまちまちである
文字列を保持するのであれば、varchar型やtext型の方がリーズナブ
ルなわけです。

- CAHR と VARCHAR の違いと文字列長超過時のエラー

SQL は 2 つの主要な文字データ型を定義しています。
character(n) と character varying(n) で、n は正の整数です。
これらのデータ型は 2 つとも長さにして n 文字分の文字列を保存できます。
超過している文字がすべてスペースの場合（この時は長さの限界で切り捨てられます）を除いて、
上限を越えた文字列をこの種の列に保存しようとするとエラーになります。
（この一風変わった例外は SQL 標準で要求されています。）
もし宣言された上限よりも文字列が短いときは character の値はスペースでパッドされ、
character varying の値は単により短く保存されます。
Note: PostgreSQL 7.2 以前では上限を越えた文字列は黙って切り捨てられエラーとはなりません。

- 2003-04-09 に引き続きちょっとだけ改良。

>YYYY-MM-DD または YYYY-MM-DD の ChangeLog という指定をすると、

s!(((\d{4})-(\d{2})-(\d{2}))\s*の\s*changelog)!<a href="#$2" title="$3年$4月$5日の ChangeLog">$1</a>!ig;
s!(&gt;&gt;((\d{4})-(\d{2})-(\d{2})))!<a href="#$2" title="$3年$4月$5日の ChangeLog">$1</a>!ig;

- anonymous ユーザをどのローカルユーザにマッピングするかを設定。

User                          ftp
Group                        ftp

- /etc/passwd のユーザ情報を確認し、ローカルユーザが使うログインシェルを設定しておく。

ftp:x:14:50:FTP User:/var/ftpd:/bin/false

- <Anonyumous /home/samba> などと chroot を指定した場合

# mount -r -t iso9660 -o loop /home/hiroaki/shrike-i386-disc1.iso /home/samba/public/iso/redhat9/disc
# umount /home/samba/public/iso/redhat9/disc1

s!(ftp://(?:$URLCHARS*))!<a href="$1">$1</a>!g; # ftp URL

- リンクにした方が便利そうなので置換してみる。

s!(\s)(google)(\s)!$1<a href="http://www.google.co.jp/" title="Google">$2</a>$3!ig;
s!(\s)(example)(\s)!$1<a href="http://www.example.co.jp/" title="example">$2</a>$3!ig;
s!(\s)(yahoo)(\s)!$1<a href="http://www.yahoo.co.jp/" title="Yahoo\! Japan">$2</a>$3!ig;
s!(\s)(2ちゃんねる|2ch\.net)(\s)!$1<a href="http://www.2ch.net/" title="2ちゃんねる">$2</a>$3!ig;
s!(\s)(/\.|slashdot)(\s)!$1<a href="http://slashdot.jp/" title="Slashdot Japan">$2</a>$3!ig;
s!(\s)(JM)(\s)!$1<a href="http://www.linux.or.jp/JM/" title="Linux JM project">$2</a>$3!ig;
s!(\s)(namazu)(\s)!$1<a href="http://www.namazu.org/" title="全文検索エンジン Namazu">$2</a>$3!ig;
s!(\s)(redhat)(\s)!$1<a href="http://www.jp.redhat.com/" title="RedHat Linux Japan">$2</a>$3!ig;
s!(\s)(debian)(\s)!$1<a href="http://www.debian.org/" title="Debian">$2</a>$3!ig;
s!(\s)(\@IT)(\s)!$1<a href="http://www.atmarkit.co.jp/" title="\@IT - アットマーク・アイティ">$2</a>$3!ig;
s!(\s)(winny)(\s)!$1<a href="http://www.geocities.co.jp/SiliconValley/2949/" title="Winny Web Site">$2</a>$3!ig;
s!(\s)(mozilla)(\s)!$1<a href="http://www.mozilla.org" title="mozilla.org">$2</a>$3!ig;
s!(\s)(postgres|postgresql)(\s)!$1<a href="http://www.postgresql.org/" title="PostgreSQL">$2</a>$3!ig;
s!(\s)(apache)(\s)!$1<a href="http://www.apache.jp/mirror/" title="The Apache Software Foundation (JP mirror)">$2</a>$3!ig;
s!(\s)(samba)(\s)!$1<a href="http://www.samba.gr.jp/" title="日本 Samba ユーザ会">$2</a>$3!ig;
s!(((\d{4})-(\d{2})-(\d{2}))\s*の\s*changelog)!<a href="#$2" title="$3年$4月$5日の ChangeLog">$1</a>!ig;
s!(&gt;&gt;((\d{4})-(\d{2})-(\d{2})))!<a href="#$2" title="$3年$4月$5日の ChangeLog">$1</a>!ig;
s!^(\t&gt;\s+.*)$!<strong class="quote">$1</strong>!igm;
s!^\t-\s(.*)$!\t<strong>- $1</strong>!igm;

- 2002-09-30 のスクリプトは、. が全く存在しない文字列を渡したときに、

# ファイル名から拡張子を除いた部分の文字列を返す
sub get_base_name($) {
  my $file_name = shift;
  my $basename = $file_name;
  $basename =~ s/(.*)\..*?$/$1/;
  if ($basename eq '') {
    $basename = $file_name;
  }
  return $basename;
}

- Winny を使ってダウンロードする

- BitTorrent を使ってダウンロードする

- md5sum を確認する おすすめツール: http://www.md5summer.org/

- 他にも、use lib プラグマを使って、use する側でライブラリパスを追加する方法もある