PRUV開発室
Wikipediaのテキストデータを解析
カテゴリー:お知らせ 作成日:2017-04-12オンライン文章校正支援サービス「PRUV」の辞書の拡充の一環として、Wikipediaのテキストデータ解析を行っています。
Wikipediaのデータ(XML)をテキストデータに変換して、それを形態素解析しつつデータベースに放り込みます。全部入れると大変なので、取りあえず約30MBのテキストデータを取り込んで解析。見た目がいろいろ残念な自作ツールを使います。
このテキストデータのグループでは、格助詞「が」が4万199回出現していました。この格助詞「が」の後ろにどのような単語が続いているのか。「が」の直後の単語を助詞に絞り込んだのが下の画面。
「が」の後に助詞「を」が続く例が1回だけあることが分かります。確率は0.0025%。そこで、別途データベースを検索して助詞「が」+助詞「を」が出現した文を取り出すと、
連邦同盟の軍人だったがを開始した。
でした。
どう見ても間違いです。出現確率的にもその用例的にも、やはり助詞「が」+助詞「を」というパターンはあり得ないようです。こうした例を見つけては、辞書に追加しています。
いずれは、
・テキストデータの読み込み
・あり得る/あり得ない言語法則の発見
・ホワイトリスト、ブラックリストの生成
を自動化したいのもです。