前のページ 1/2 次のページ

最尤法(さいゆうほう、Maximum likelihood estimation略してMLEともいう)は、統計学において、与えられたデータからそれが従う確率分布の母数について推測するためによく用いられる方法で、尤度の概念を利用するものである。この方法はロナルド・フィッシャーが1912年から1922年にかけて開発したものである。

現在では生物の系統樹を確率モデルによって作成する際に、データから見て一番尤もらしい系統樹を選択するための有力な方法としても応用される。

◆基本的理論

確率分布関数 $f\_D$ と分布の母数 $\backslash theta$ のわかっている離散確率分布 $D$ が与えられたとして、そこから $n$ 個の標本 $X\_1,\; X\_2,\; ...\; X\_n$ を取り出すことを考えよう。すると分布関数から、観察されたデータが得られる確率を次のように計算することができる:

:$\backslash mathbb(x\_1,x\_2,\backslash dots,x\_n)\; =\; f\_D(x\_1,\backslash dots,x\_n\; \backslash mid\; \backslash theta)$

しかし、データが分布 $D$ によることはわかっていても、母数 $\backslash theta$ の値はわからないかもしれない。どうしたら $\backslash theta$ を見積もれるか?

$n$ 個の標本 $X\_1,\; X\_2,\; ...\; X\_n$ があれば、この標本から $\backslash theta$ の値を見積もることができる。最尤法は母数 $\backslash theta$ の一番尤もらしい値を探す(つまり $\backslash theta$ のすべての可能な値の中から、観察されたデータセットの尤度を最大にするものを探す)方法である。これは他の推定量を求める方法と対照的である。たとえば $\backslash theta$ の不偏推定量は、 $\backslash theta$ を過大評価することも過小評価することもないが、必ずしも一番尤もらしい値を与えるとは限らない。

尤度関数を次のように定義する:

:$\backslash mbox(\backslash theta)\; =\; f\_D(x\_1,\backslash dots,x\_n\; \backslash mid\; \backslash theta)$

この関数を母数 $\backslash theta$ のすべての可能な値から見て最大になるようにする。そのような $\backslash hat$ の値は、 $\backslash theta$ に対する最尤推定量(さいゆうすいていりょう Maximum likelihood estimator、これもMLEと略す)として知られる。

◇注意

・尤度は $\backslash theta$ を変数とし $x\_1,x\_2,\backslash ldots,x\_n$ を定数とする関数である。

・最尤推定量は唯一ではないこともあるし、存在しないことさえある。

・$f\_D$ を離散確率分布関数でなく確率密度関数として考えれば、上の定義は連続確率分布にも当てはまる。

・最尤法をベイジアンで解釈することも可能である.事前分布に一様分布を仮定し,事後分布のモードを計算することと同値である.詳しくは計量経済学のベイジアン計量経済学の項を参照されたい.

◆例

◇離散分布で、母数が離散的かつ有限の場合

以下、コインを投げて表・裏(あるいは成功・失敗:その確率は0.5とは限らない)のいずれが出るかを見る場合(ベルヌーイ試行)を例にとる。

公平でない1個のコインを80回投げることを考える(つまり $x\_1=\backslash mbox$ 、 $x\_2=\backslash mbox$ 、 $\backslash ldots$ 、 $x\_=\backslash mbox$ のようなものをサンプリングし、表の観察された回数 $\backslash mbox$ を数える)。表の出る確率を $p$ 、裏の出る確率を $1-p$ とする(ここで $p$ は上で $\backslash theta$ と書いた母数に等しい)。そして3個のコイン―1個は確率 $p=1/3$ で、1個は確率 $p=1/2$ で、残りの1個は確率 $p=2/3$ でそれぞれ表の出るもの―を含む箱からコインを取り出し、結果として表(H)が49回、裏が31回出たとする。コインは区別できないとする。観察されたデータが与えられたとして、それがどのコインであったと考えるのが一番尤もらしいかを次のように計算する:

::$$

\begin

\mathbb(\mbox\mid p=1/3) & = & \binom(1/3)^(1-1/3)^ = 0.000 \\

&&\\

\mathbb(\mbox\mid p=1/2) & = & \binom(1/2)^(1-1/2)^ = 0.012 \\

&&\\

\mathbb(\mbox\mid p=2/3) & = & \binom(2/3)^(1-2/3)^ = 0.054 \\

\end

こうして母数 $\backslash hat=2/3$ によって尤度が最大となることがわかり、これが $p$ に対する最尤推定量である。

◇離散分布で、母数が連続的な場合

こんどは上の例での箱に入っているコインの数は無限であると仮定する。それぞれがすべての可能な $0\backslash leq\; p\; \backslash leq\; 1$ の値をとるとする。するとすべての可能な $0\backslash leq\; p\; \backslash leq\; 1$ の値に対して次の尤度関数を最大化しなければならない:

:$$

\begin

\mbox(\theta) & = & f_D(\mbox\mid p) = \binom p^(1-p)^ \\

\end

この関数を最大化するには $p$ に関して微分しその値を0にすればよい:

:$$

\begin

0 & = & \frac \left( \binom p^(1-p)^ \right) \\

& & \\

& \propto & 49p^(1-p)^ - 31p^(1-p)^ \\

& & \\

& = & p^(1-p)^\left[外部リンク] - 31p \right \\

\end

これを解けば $p=0$ 、 $p=1$ 、 $p=49/80$ の3つの解が得られるが、そのうち尤度を最大化するのは明らかに $p=49/80$ である( $p=0$ と $p=1$ では尤度は0になってしまう)。こうして $p$ に対する最尤推定量は $\backslash hat=49/80$ と求められる。

この結果で、ベルヌーイ試行の成功数49を $t$ と置き、全回数80を $n$ と置けば一般化できる。 $n$ 回のベルヌーイ試行で $t$ 回成功した場合に対する最尤推定量は

:$\backslash hat=\backslash frac$

となる。

◇分布、母数とも連続的な場合

よく出てくる連続確率分布に、次の正規分布がある:

:

この分布に従う $n$ 個の独立なランダム変数標本の密度関数は:

:

また計算しやすいように書き換えると:

:

この分布には $\backslash mu$ (平均)、 $\backslash sigma^2$ (分散)の2つの母数がある。上では1つの母数に対する最大化だけを議論したが、この場合も各母数に対して尤度 $\backslash mbox(\backslash mu,\backslash sigma)\; =\; f(x\_1,,\backslash ldots,x\_n\; \backslash mid\; \backslash mu,\; \backslash sigma^2)$ を最大化すればよい。上の書き方なら $\backslash theta=(\backslash mu,\backslash sigma^2)$ とする(このように母数が複数の場合は母数ベクトルとして扱う)。

尤度を最大にするのは、尤度の自然対数を最大にするのと同じである(自然対数は単調増加関数であるから)。このような計算法はいろいろな分野でよく利用され、対数尤度は情報のエントロピーやフィッシャー情報と密接な関係がある。

:$$

\begin

0 & = & \frac \log \left( \left( \frac \right)^\frac e^^(x_i-\bar)^2+n(\bar-\mu)^2 --> --> \right) \\

& = & \frac \left( \log\left( \frac \right)^\frac - \frac^(x_i-\bar)^2+n(\bar-\mu)^2 --> \right) \\

& = & 0 - \frac-\mu) --> \\

\end

これを解くと $\backslash hat=\; \backslash bar=\; \backslash sum^\_x\_i/n$ となる。これはまさに関数の最大値、すなわち $\backslash mu$ の唯一の極値で、2次微分は負となる。

同様に、 $\backslash sigma$ に関して微分し0とおけば尤度の最大値 $\backslash hat^2\; =\; \backslash sum\_^n(x\_i-\backslash hat)^2/n$ が得られる。

形式的には、 $\backslash theta=(\backslash mu,\backslash sigma^2)$ に対する最尤推定量は:

:$\backslash hat=(\backslash hat,\backslash hat^2)\; =\; (\backslash bar,\backslash sum\_^n(x\_i-\backslash bar)^2/n)$.

となる。

◆系統推定への応用

前のページ 1/2 次のページ

・最尤法 page1

・最尤法 page2