単語の偏りを利用したAS抽出スクリプトの開発メモ

原理

スキルの説明に使われる単語は有限であり、一般的な文章に比較して偏りがあると考えられる。既存のデータベースに登録されている文書に共通して含まれる特徴的な表現を抽出し、辞書登録する。その辞書に載っている単語のみで構成される文書はスキル説明だと推論できる。