Palmkit reference

コマンドとファイル形式についての解説

コマンド

• text2wfreq: 単語頻度リストの作成
• wfreq2vocab: 単語頻度リストから語彙ファイルを生成する
• ctext2class: クラス情報つきテキストからクラスの一覧を生成する
• text2idngram: 単語ID-ngramの作成
• ctext2idngram: クラスID-ngramの作成
• idngram2lm: ID-ngramから言語モデルを生成する
• evallm: 言語モデルの評価
• interpolate: ヘルドアウト法の重み計算
• mergeidngram: 2つ以上のID-ngramを併合する
• mixidngram: 2つ以上のID-ngramを重みつきで併合する
• ngram2mgram: ある長さのID-ngramから、短いID-ngramを計算する
• changeidvocab: ある語彙のID-ngramから，より小さい語彙のID-ngramを計算する
• reverseidngram: 順方向のID-ngramから、逆方向のID-ngramを計算する
• text2class: クラス情報のついたテキストを、クラス系列に変換する
• text2idtext: テキストを、単語番号系列に変換する
• reverseword: テキストの各行の語順を逆転する

関数

• SLMReadLM(): 言語モデルの読み込み
• SLMWord2ID(): 単語を単語番号に変換する
• SLMID2Word(): 単語番号を単語に変換する
• SLMVocabSize(): 語彙サイズ
• SLMContextLength(): 言語モデルに与えるコンテキストの長さ
• SLMGetBOProb(): バックオフN-gram確率の計算
• SLMFreeLM(): 言語モデルの解放