IIR第8章
テスト
Search Engineをどうやって評価するのか.
- インデックス作成の速さ
- 検索の速さ
- クエリ作成の自由度
- ユーザーインターフェース
- 無料？
といったところ.
まず
- 速さや時間といった定量的なもの
についての評価は容易い.
しかし,重要なのは
- ユーザーの幸福度
と言われるもので,速さ等だけでなく検索結果がどれだけ
ユーザーの要求を満たしているか(適合性)が問題となる.
- 適合性
クエリとではなく,情報ニーズ(ユーザーの求める物)と比較して評価するべき.
例えば
「心臓発作の危険を減らすためには白ワインより赤ワインってほんと?」
→ wine red white heart attack effective
クエリと情報ニーズが一致していないことが分かる.
-
- 人力で適合性を判定する必要がある！！
非ランキング検索の評価
- Precision:適合率
- 検索結果に適合しない文書が入ってない割合
- Recall:再現率
- 適合する全ての文書の内,どれだけ拾うことが出来たかの割合
計算式は以下の表を用いて
| Relevant | Nonrelevant | |
|---|---|---|
| Retrieved | ||
| Not Retrieved |
- Precision(P) = tp / (tp + fp)
- Recall(R) = tp / (tp + fn)
となる.
