サンプル

Linderaには、一般的なユースケースを示すいくつかのサンプルプログラムが含まれています。ソースコードはGitHubの examplesディレクトリで確認できます。

以下のサンプルはすべて embed-ipadic feature を有効にして実行します。この feature はビルド時にIPADIC辞書を自動的にダウンロードしてバイナリに埋め込むため、辞書を手動でダウンロードする必要はありません。

利用可能なサンプル

Segmenter API による基本的な形態素分割です。lindera クレート単体で動作します。

cargo run -p lindera --features=embed-ipadic --example=segment

外部IPADIC辞書を使用した基本的なトークナイズです。入力テキストを分割し、各トークンの品詞情報を表示します。

cargo run -p lindera-analysis --features=embed-ipadic --example=tokenize

ユーザー辞書を使用したトークナイズです。ドメイン固有の用語のために、辞書をカスタムエントリで補完する方法を示します。

cargo run -p lindera-analysis --features=embed-ipadic --example=tokenize_with_user_dict

キャラクターフィルターとトークンフィルターを使用したトークナイズです。Unicode正規化、品詞フィルタリングなどの変換を含むテキスト処理パイプラインを実演します。

cargo run -p lindera-analysis --features=embed-ipadic --example=tokenize_with_filters

YAML設定ファイルを使用したトークナイズです。プログラムではなく宣言的にトークナイザーを設定する方法を示します。

cargo run -p lindera-analysis --features=embed-ipadic --example=tokenize_with_config