[sylpheed-jp:10304] Re: Sylpheed 全文検索アプリケーションα版公

2007年 6月 11日 (月) 23:09:20 JST

山本様

はじめまして、水田 と言います。

sylph-searcher(α版)のトライ結果をお知らせします。

インストール(問題では、ないです、すいません、独り言です)
     tsearch2.sqlは、(てっきり)postgresと一緒にインストールされるものだと、
     思い込んでいました。README.jaにも、インストールするように、と、きちん
     と書かれているのに、、、。
     今回のトライをきっかけにpostgresを8.2.4にupdateしました。
     MeCab,libSylphは、新規インストールしました。

メール取り込み
     約52,000件を取り込みました。約83分かかりました。
     2種類のワーニングが出ました。
         1. failed to get text content in msg NNN
             これは、GnuPGで暗号化されたメールでしたので当然といえば当然
             ですね。
         2. INSERT INTO msginfo failed: ERROR:  value is too big
             pptファイルが添付されたメールだったのですが、その中味が(アル
             ファベットと数字と記号で)本文に表示されているものでした。通
             常は、本文とは別のタブにファイル名が表示されるものなのに、こ
             のメールだけは、本文の下の方に大量に表示されてました。
             これの取込みには、これだけで5分程かかりました。
     他にも、duplicate violation...、みたいなのが大量に出ましたが、これは
     同じディレクトリを読み込ませたからだと思います。

     取り込んだあともメールは増えていきますが、増えた分だけimportできる
     のでしょうか ? 何番まで取り込んだのかを、(ディレクトリ名と一緒に)ど
     こかに記憶させておく必要がありますね。

検索
     超速い、です。postgres開発者の方々、ありがとうございます。
     (山本様にも感謝していますよ。仕事ではSylpheedを常用してます。)

     アルファベット5文字の検索文字で、約52,000件の中に9件しかないメールの
     検索に1秒もかかりませんでした。感じとしては、「いち」、「にー」とカ
     ウントしようとして「い」を言ったか言わない間に完了しました。
     (えっ、もう終わり ? 本当にやってんの ? と疑いたくなるくらい速い。)
     Sylpheedの検索では、同じ検索文字で、約7600件の中から34秒でした。

     ヒット件数が多かった場合は、list viewに取り込むのに時間がかかりまし
     たね。 5000件のヒットで数分返ってきませんでした。
     postgresのカーソルの使用は予定されていないのでしょうか ?

希望を記します。
     本文の表示で検索文字をハイライトさせることはできないでしょうか ?

以下は、トライしたときの細かな数字です。
GTK          : 2.10.6
Glib         : 2.12.4
カーネル     : 2.6.16-13-4(openSuSE 10.2 update)
CPUクロック  : 3.2GHz
メモリ       : 1GB
メール件数   : 52,468件
                (psql -c "select count(file_size) from msginfo" test)
メールサイズ : 4,871,011,424バイト
                (psql -c "select sum(file_size) from msginfo" test)
DBサイズ     : 782,389kバイト (du -s XXX) 約1/6ですね。

p.s. シーラカンス本の全文検索システムは(あの頃は、マシンも遅かったので)重宝
      しましたけど、常用しているSylpheedに、(同じ)postgresを使ったシステムが
      付加されることが、非常に嬉しいです。ありがとうございます。

--
Satoru Mizuta <kaku6 ＠ world.odn.ne.jp>