Emacsen にリモート・ファイル編集機能を提供するパッケージ。
network protocol analyzer。
GNU sort を使えば簡単に作成できる。
gzip -cd hoge.1.txt.gz hoge.2.txt.gz ... \ | ngram-count -order 1 -text '-' -write '-' \ | sort -nr -k 2 \ | sed -r 's|[ \t]+[0-9]+[ \t]*$||' \ | head -n 32000 \ | gzip -c9 > hoge.vocab.gz
head のオプションの数字は、生成する vocab ファイルの語彙数と等しい。
これ、MSRLM 付属の Makefile に書かれている内容を参考にしている。
sort コマンドの -n
, -k N
引数、私は知らなかった。