前のページ 1/3 次のページ

形態素解析(けいたいそかいせき、Morphological Analysis)とは、コンピュータ等の計算機を用いた自然言語処理の基礎技術のひとつ。かな漢字変換等にも応用されている。

対象言語の文法の知識(文法のルールの集まり)や辞書(品詞等の情報付きの単語リスト)を情報源として用い、自然言語で書かれた文を形態素(Morpheme, おおまかにいえば、言語で意味を持つ最小単位)の列に分割し、それぞれの品詞を判別する作業を指す。

以下は「お待ちしております」という文を形態素解析した例である (形態素解析ツールには「茶筌」を使用した)。

◆ 日本語の代表的な形態素解析の手法

大まかに言えば文から切り出した単語が属する品詞を辞典を用いて調べていき、結果得られた品詞の並びから文法的に正しい並びであるものを正解であるとするという方法を取る。

一般的に多くの自然言語には品詞の接続に制限が存在する(例えば日本語では動詞のあとに格助詞がくることはできない。「ドアを開けるを」などは不可)。この性質を利用することによって単語の境界の判別を行う。具体的にこの性質を利用する方法には以下の2つがある:

・ 規則による方法

・ 確率的言語モデルをもちいる方法

◇ 規則による形態素解析

長尾真らの1970年代後半の研究長尾真(1979年)「計算機による日本語文章の解析に関する研究」、昭和53年度文部省科学研究費特定研究(1)研究報告書長尾真・辻井潤一(1978年)「国語辞書の記憶と日本語の自動分割」、情報処理 Vol.19 No.6では、次のようなアルゴリズムによる形態素解析処理を構築した。

# 事前に用意しておいた辞書や規則をテーブル形式で読み込む。

# 入力文を読み込む。

# 慣用句テーブルとのマッチングを行う。最長一致法を使う。マッチングした部分は固定され、以降の解析では変更されない。

# 句読点と字種の変わり目(基本的にひらがなから漢字に変わる箇所)で、文節を切り出す。これは文法上の文節ではない。

# 切り出された文節の中で、慣用句にマッチングしていない箇所について、ひらがな書き自立語テーブルなどとのマッチングを行う。このとき、接続条件を考慮せず、全ての可能性を洗い出す。

# 以上で出てきた慣用句や単語を接続条件に基づいて連鎖させていく。複数の連鎖がありうる場合、全てを出力する。

# 結果をファイルに書き出す。

# 未処理の文節があれば、5 に戻る。

前提として、漢字で書かれた部分は基本的に切り分けず、そこが自立語(あるいは自立語の語幹)になると想定している。従って、漢字で書かれた自立語の辞書(テーブル)は持たない。このとき使われるテーブルには、次のものがある。

・ 慣用句テーブル

・ ひらがな部分の単語切り分け用テーブル

  ・ 付属語テーブル

  ・ ひらがな自立語テーブル

  ・ 活用語尾テーブル -

  ・ ひらがな語幹テーブル

  ・ 特殊動詞テーブル

  ・ 副詞テーブル

・ 情報テーブル - 上記テーブル内の各項目に対応した辞書的情報

前のページ 1/3 次のページ

・形態素解析 page1

・形態素解析 page2

・形態素解析 page3