Lindera Dictionary
Lindera Dictionaryは、形態素解析辞書のベースライブラリです。辞書の読み込み、ビルド、Viterbiベースのセグメンテーションを提供します。CRFベースの辞書学習機能は、別クレートのlindera-trainerが提供します。lindera ファサードからは lindera::dictionary 配下(辞書データ構造の lindera::dictionary::core、lindera::dictionary::builder、lindera::dictionary::viterbi など)で参照できるため、lindera-dictionary への直接依存はほとんど不要です。
主な特徴
- ファイルシステムまたは埋め込みデータからの辞書読み込み
- MeCab形式のCSVソースファイルからの辞書ビルド
- 最適なセグメンテーションのためのViterbiアルゴリズム
- N-bestパス生成(Forward-DP Backward-A*)
- メモリマップドファイルサポート