PRUV開発室

いろいろと限界が見えてきたので、サーバを移転することにしました。新サーバはCPUのコア数とメモリ容量がアップ。ストレージはSSDになるため、全体的に速度が向上するはずです。

というわけで、Windows 10のHyper-V上に開発環境を構築し、検証と開発を行っています。Linuxのディストリビューション変更、Web、SQLサーバ、NoSQLサーバ、PHPのメジャーバージョンアップを一気にやるため、ノウハウの構築も重要になります。

進捗状況は以下の通りです。

オンライン文章校正支援サービス「PRUV」が速くなりました。

スペルチェック機能は負荷が高く、ボトルネックになっていました。そこでリングバッファでスペルチェックした単語をキャッシュする機構を組み込んでみました。これで、一度スペルチェックした単語はスペルチェックをスルーしてキャッシュのデータを利用できるようになりました。

オンライン文章校正支援サービス「PRUV」が使用している形態素解析辞書は、「サ変名詞」も固有名詞として登録されています。サ変名詞には文法的な機能があるので、分類の変更は重要な意味を持ちます。

サ変名詞とは、「する」「した」を接続して動詞化できる名詞です。例えば、「管理（する）」「検討（した）」「インストール（する）」などです（「野球する」「お茶する」のように、話し言葉では普通名詞のサ変名詞化も行われますが）。

サ変名詞を普通名詞や固有名詞と区別することのメリットは幾つかありますが、ここでは2つの例を紹介します。

オンライン文章校正支援サービス「PRUV」の機能を修正しました。

先日通貨レートチェック機能を実装したのですが、この機能に利用しているYahoo! Financeが最近機能していないようです。クエリを投げてもリザルトがnullなので、計算できないのです。

そのうち復旧すると思ったのですがその兆しが見えないので、Yahoo! Financeで通過レート取得に失敗した場合は他社のAPIを使ってレートを取得するようにしました。ただし、対応通貨はドル、ポンド、ユーロ、スイスフランのみとなります。

早くYahoo! FinanceのAPIが復活してくれるとよいのですが……。

オンライン文章校正支援サービス「PRUV」は、これでも一応は毎日進化しています。例えば、形態素解析辞書のチューニングです。

形態素解析は、入力された文を単語に分割して品詞を決定する処理です。

今日は秋晴れだ

を、

今日（名詞・副詞可能）は（助詞・係助詞）秋晴れ（名詞・一般）だ（助動詞）

のようにします。この処理の基になるのが、形態素解析辞書。「今日」も「は」も「秋晴れ」も辞書に登録ているから正しく分割できるのです。PRUVでは、ネットで公開されている辞書を独自に拡張したものを利用しています。

オンライン文章校正支援サービス「PRUV」の辞書の拡充の一環として、Wikipediaのテキストデータ解析を行っています。

Wikipediaのデータ（XML）をテキストデータに変換して、それを形態素解析しつつデータベースに放り込みます。全部入れると大変なので、取りあえず約30MBのテキストデータを取り込んで解析。見た目がいろいろ残念な自作ツールを使います。

1年前の2016年2月4日、オンライン文章校正支援サービス「PRUV」の開発がスタートしました。最初のコードはHTMLフォームによる入力機能もなく、コード内に直接書き込んだ文字列を形態素解析するというものでした。

形態素解析とは、文字列（文）を単語に分割して単語の品詞を判定する処理です。例えば、「今日は晴れだ」という文を、「今日」（名詞）、「は」（助詞）、「晴れ」（名詞）、「だ」（助動詞）というデータにします。

オンライン文章校正支援サービス「PRUV」が速くなりました。

コードのチューニングやデータベースのインデックス方法を見直しなどを行った結果、処理速度が大幅に向上しました。

以下に簡単なベンチマークテスト結果を挙げます。

オンライン文章校正支援サービス「PRUV」のURLが変わりました。

諸般の事情により、新たに専用ドメイン「pruv.jp」を取得しました。これにより、URLがギュッと短くなりました。リダイレクトをかけているので、特にブックマークなどを変更しなくてもこれまで通り利用できると思います。

オンライン文章校正支援サービス「PRUV」をアップデートしました。

PRUVの内部構造を全面改定して、処理時間を短縮しました。5KBのテキストだと、待ち時間が20～30秒くらい短縮しています。従来の仕様には辞書登録数が増えれば増えるほど処理時間も長くなるという問題がありましたが、今バージョンから辞書登録数の影響はほぼなくなりました。