csvファイルを使って全文検索できるようにしました

源氏物語の世界　再編集版で提供している情報をcsv形式に変換し、これを使って全文検索できるようにしたので、ここで紹介します。

なお、ダウンロードは、

の「源氏物語の世界　再編集版　一括ダウンロード」プロジェクトから行えます。

ＣＳＶ形式の再編集版について

源氏物語の世界　再編集版で提供している情報をcsv形式に変換してみました。

ＣＳＶ形式にすると、いろいろなプログラムで読み込んでデータを処理することが出来るようになります。例えば、以下のようなことができるようになります。

• Microsoft ExcelやAccessで読み込んで処理できます。特に、Accessの場合、csvファイルにリンクしておくと、csvファイル同士の間で関係演算を行うようなクエリを定義できるので便利です。

• Accessのクエリは、Accessが無くてもADO(ActiveX Data Objects)やDAO（Data Access Objects）で読み書きできるので、Javaスクリプトで処理できます。このページで紹介する全文検索プログラムは、このDAOを使っています。

• Internet ＥｘｐｌｏｒｅｒのDHTML（ダイナミックHTML）ではデータバインド機能の一環として、TDC(Tabler Data Control)がサポートされており、これを使うと、簡単な検索や分類などの操作なら、すべてをメモリ上に読み込んで高速に処理してくれます。このページで紹介するビューアプログラムは、このTDCを使っています。

変換したcsvファイルと、それを使ったプログラムには、以下のものがあります。

簡単な検索機能付きビューアプログラム

上の一覧表で示したcsvファイルのうち、本文・現代語訳・与謝野晶子訳のcsvファイルを読むための簡単なビューアプログラム（viewText.html）を作りました。
このビューアはHTMLとJavaスクリプトで書かれたプログラムで、Internet Explorer 5.01以降がインストールされていれば実行できます。viewText.htmlを実行してください。

TDCを使っているので、簡単な検索機能もつけてあります。検索結果の一例を以下に示します。
ちなみに、この検索にかかった時間は数秒でした。（cerelon 1060MHz メモリ384MBのマシンで実行した場合）

源氏物語の世界　再編集版　全文検索プログラム

Jetデータベースエンジンを使った全文検索プログラム(SearchGenji.hta)も作ってみました。

全文検索といっても、csvファイル全体をメモリ上に読み込んで全文検索するタイプのものですので、その点は、上のビューアプログラムと変わりませんが、データベースエンジンなので、SQLを使って強力な検索が出来るようになります。
反面、検索時間は長くなります。

下図は、上のビューアプログラムの画面例と同じ条件で検索してみたものです。
本文で検索した結果に対して、現代語訳や與謝野晶子訳、ローマ字版を結合して対照表示されます。もちろん、現代語訳や與謝野晶子訳、ローマ字版などを検索することもでき、その場合も、このように、４者対照表示されます。

検索が終わると、検索ボタンの右には、検索に使用したＳＱＬと検索結果行数が表示されます。 検索結果中で指定された語句に一致する部分は黄色で表示されます。この例にはありませんが、同じ語句が現代語訳や与謝野晶子訳にも現れる場合、これらの役の中の語句も黄色で表示されます。 検索結果の左端の帖番号、章番号、段番号、行番号は、それぞれ、細目次ページの帖見出し、章単位ページの章見出し、段単位ページの段見出し、段単位ページの対応する行、へのリンクになっています。また、帖番号、章番号、段番号の上でマウスカーソルをとめると、帖名、章名、段落名がツールチップで表示されます。

検索対象で「本文（注釈付）」を選ぶと、本文と現代語訳の間に注釈も対称表示されます。他に、「本文（出典付）」「本文（校訂付）」「本文（登場人物付）」もあります。

検索対象で「本文（注釈付）」を選ぶと、本文で検索した結果の各行に対して、注釈が付加されていれば、その注釈を本文と現代語訳の間に表示します。 似た機能に検索対象で「注釈」を選んだ場合があります。この場合は、注釈を検索した結果に対して、関連する本文や現代語訳などを結合したものです。 なお、検索対象で「注釈」を選んだ場合、検索対象に「注釈見出し」は含まれません。注釈を検索する場合は、「注釈」と「注釈見出し」を区別して検索する必要があります。 付加された注釈の見出しと同じ語句が、本文や現代語訳などに現れると、その部分を薄い黄色で表示します。ただし、薄い黄色で表示されるのは、注釈見出しと完全に一致するもの（状態＝１のもの）だけとなります。ＨＴＭＬ版で本文と注釈が正しくリンクされるものであっても、完全には一致しないもの（状態＝３のもの）は、全文検索プログラムではマークされずに残ってしまいます。

画面例をもう一つ紹介しましょう。

検索対象には、本文、現代語訳、與謝野晶子訳、ローマ字版の他に、注釈、出典、校訂、登場人物、和歌なども指定できます。そして、指定した検索対象によって、検索結果の列の並びも変わってきます。次の画面例は、出典で検索した場合の例です。

この結果、本文、注釈、出典、校訂、登場人物、和歌、現代語訳、与謝野晶子訳、ローマ字版などのさまざまなデータを、このプログラムで検索できるようになりました。

最後に、検索対象に指定できる項目を以下に示します。

バージョン１．６２以降の再編集版の全文検索プログラムでは、登場人物の検索機能が追加されました。検索対象に「本文（登場人物付）」、「登場人物」、「登場人物（呼称）」、「登場人物（備考）」が追加されたほか、検索条件項目に「登場人物」という項目が追加されました。

この「登場人物」という項目は、上を指定すると使えるようになり、特定の登場人物が登場する行だけを検索したり、「女」や「宮」などのあいまいな呼称で呼ばれている場合でも、特定の登場人物をさすものだけを抽出したりできます。また、行を検索するのではなく、他の条件で検索された行に対して、該当箇所をマークするだけという指定もできます。

ただし、この登場人物関係のデータは、現在、まだ整備中です。整備の終わっていない帖では、この登場人物関係の機能を使用しても、必ずしも適切な結果を返してくれるとは限りません。現在、どこまで整備が終わっているかについては、トップページの「更新履歴」や「今後の課題」を参照してください。

この機能の画面例を紹介しましょう。第４帖夕顔で、登場人物「夕顔」が登場する行を検索すると、以下のようになります。

全文検索プログラムの使用方法

ＣＤＲＯＭ版の場合、ＣＤＲＯＭを挿入すると、自動的に以下のような全文検索プログラムを含んだ初期画面が表示されます。自動的に起動しない場合、およびＣＤＲＯＭ版で無い場合は、「autorun.bat」を実行してください。

この画面の上部にある３つのボタンは、各形式の再編集版を表示するためのものです。
ボタンは、ＨＴＭＬ形式の再編集版をＷｅｂブラウザで表示します。
ボタンは、ＨＴＭＬヘルプ形式の再編集版をWindowsのＨＴＭＬヘルプビューアで表示します。
ボタンは、ＣＳＶ形式の再編集版の解説ページ（このページ）をＷｅｂブラウザで表示します。

ただし、この全文検索プログラムを実行するには、あらかじめ、いくつかの前提プログラムがインストールされている必要があります。
Windows MeかWindows XPをご利用の場合、これらの前提プログラムは標準でインストールされているので、そのままご利用いただけます。
Windows 2000をご利用の場合は、Internet Explorerをバージョン5.5以降にアップグレードするだけでご利用いただけます。
Windows 95/98をご利用の場合は、「前提プログラムのインストール方法」の説明に従ってインストールしてからご利用ください。

Access 2003のセキュリティの警告

全文検索用データベースファイル(Genji.mdb)をAccess 2003などで開こうとすると、以下のようなセキュリティの警告が表示されることがあります。

「詳細」ボタンをクリックしてヘルプを読んでみると、「マクロ、Visual Basic for Applications (VBA) コード、ActiveX コントロールを含むフォームやレポート、アクション クエリ、データ定義クエリ、パススルー クエリ、または更新クエリが検出された場合に、警告が表示されます。」とのことです。このファイルには、このどれも含まれていませんので、このメッセージが出てくること自体が不可解ですが、問題はありませんので、そのまま、「開く」ボタンをクリックして先に進んでください。

なお、この警告が表示されないように設定変更するには、Access 2003の「マクロのセキュリティレベル」を「低」に設定する必要があるようです。その方法は、「詳細」ボタンをクリックしてヘルプに記載されています。参考のため、そのヘルプの主要部分のハードコピーを以下に示します。

前提プログラムのインストール方法

この全文検索プログラムは、Internet Explorerの他にも、いくつかのプログラムを必要とします。Windows Me、XPには、これらはすでにインストールされていますが、Windows 98、2000の場合は、標準ではインストールされていません。しかし、これらのプログラムはマイクロソフトから無償で配布されているので、以下の方法でインストールしてください。

１．前提条件

前提プログラム	動作確認（注）	備考
Internet Exploror（IE） 5.5以降 （6.0SP1以降推奨）	IE 6.0SP1 (2.0.2800.1106)	Windows MeにはIE 5.5が、 Windows XPにはIE 6.0が、 標準でインストールされています。
Microsoft Data Access Component（MDAC） 2.5以降	MDAC 2.7SP1   (2.71.9030)	Windows 2000、MeにはMDAC 2.5が、 Windows XPにはMDAC 2.7が、 標準でインストールされています。
Microsoft Jet 4.0	Jet 4.0 SP8   (4.0.8015)	Windows 2000、Me、XPにはJet 4.0が 標準でインストールされています。

（注）本プログラムは、ここに示したバージョンでのみ動作確認しています。
      前提プログラムのバージョンは仕様から推定したもので、そのバージョンで動作確認したものではありません。

２．前提プログラムのバージョンの確認方法（その１）

Windows 98など、前提プログラムが標準ではインストールされないＯＳを使用している場合でも、Microsoft Office（2000以降）のインストールオプションによってはインストールされるなど、使用しているアプリケーションによってMDACやJetがすでにインストールされている場合があります。

そこで、前提プログラムのバージョンを確認するプログラムを作りました。SerachGenjiフォルダの中に入っているVersionCheck.wsfを実行すると、その実行結果によって、バージョンを確認できます。

実行結果	判定
正常に終了し、以下のような画面を表示する。	すでに、前提プログラムはインストールされています。特に前提プログラムをインストールしなくても、そのまま使用できるものと思われます。 ただし、「ADO Version」が2.1以下の場合は、Version 2.5以降のMDACをインストールすることを推奨します。
Microsoft JScript コンパイルエラーになる。	Windows Scriptのバージョンが古くなっています。 Windows ScriptはInternet Explorerによってインストールされるので、Windows Updatesに接続して、Internet Explorerを最新版に更新してください。
「DAO.DBEngine.36」のタイプライブラリが見つからないというエラーになる。	DAO Version 3.6がインストールされていません。 DAO 3.6はJet 4.0によって、インストールされます。 Jet 4.0の最新版をマイクロソフトからダウンロードしてインストールしてください。 なお、CDROM版の場合、Windows 95/98/NT4.0用のJet 4.0 SP7のインストーラ（Jet40SP7_9xNT.exe）が入っていますので、ご利用ください。
「adodb.connnection」のタイプライブラリが見つからないというエラーになる。	MDACがインストールされていません。 MDACの最新版をマイクロソフトからダウンロードしてインストールしてください。 なお、CDROM版の場合、Windows 95/98/Me/NT4.0/2000/XP用のMDAC 2.8のインストーラ（MDAC_TYP.EXE）が入っていますので、ご利用ください。

３．前提プログラムのバージョンの確認方法（その２）

もうひとつ、プログラムによらないバージョン番号の確認方法を以下に示します。

（１）Internet Explorerのバージョン番号の確認方法

メニューからヘルプのバージョン情報を選択して確認してください。

（２）Microsoft Data Access Component（MDAC） のバージョン番号の確認方法

次のファイルがあればインストールされています。

C:\Program Files\Common Files\System\ado\msado15.dll

　

バージョン番号は、このdllファイルのマウス右クリックで表示されるコンテキストメニューから「プロパティ」を選択し、表示される「msado15..dllのプロパティ」ダイアログの「バージョン情報」タブを参照してください。

（３）Microsoft Jetのバージョン番号の確認方法

c:\Windows\System32\msjet40.dllがあればインストールされています。バージョン番号は、このdllファイルのマウス右クリックで表示されるコンテキストメニューから「プロパティ」を選択し、表示される「msjet40.dllのプロパティ」ダイアログの「バージョン情報」タブを参照してください。

４．ダウンロード＆インストール方法

これらのプログラムが、まだインストールされていなかったり、バージョンが古かったりした場合は、マイクロソフトのダウンロードページから最新版をダウンロードしてインストールしてください。（これらのプログラムはマイクロソフトから無償で配布されています。）

その方法は以下の通りです。

（１）Internet Explorerのバージョンアップ方法

Windows Updatesを使用して最新版にアップグレードすることを推奨します。

（２）Microsoft Data Access Component（MDAC）のバージョンアップ方法

マイクロソフトのダウンロードセンタでキーワードに「MDAC」を指定して検索すると、検索結果一覧の先頭に最新版のダウンロードページが表示されます。そのページの記述にしたがってダウンロード＆インストールしてください。

　

なお、CDROM版の場合、Windows 95/98/Me/NT4.0/2000/XP用のMDAC 2.8のインストーラ（MDAC_TYP.EXE）が入っていますので、ご利用ください。

（３）Microsoft Jetのバージョンアップ方法

マイクロソフトのダウンロードセンタでキーワードに「Jet」を指定して検索すると、検索結果一覧の先頭の方にに最新版のダウンロードページが表示されます。そのページの記述にしたがってダウンロード＆インストールしてください。
ただし、Windowsの種類によってダウンロードページが異なること、および、あらかじめMDACがインストールされている必要があることにご注意ください。

　

なお、CDROM版の場合、Windows 95/98/NT4.0用のJet 4.0 SP7のインストーラ（Jet40SP7_9xNT.exe）が入っていますので、ご利用ください。

（４）Windows Updatesの実行

これらのプログラムは、どれにも、セキュリティホールの存在が確認されています。最新版をインストールしたからといって、必ずしも安心できません。セキュリティホールが残っていても全文検索プログラムの動作には影響しませんが、安全のため、Windows Updatesに接続して「重要な更新」が残っていたら、それを全てインストールすることを推奨します。