|
===================================== 〔語彙分解〕的な部分一致の検索結果は以下の通りです。 ・ 最 ： [さい] 1. (n,pref) the most 2. the extreme ・ 最大 ： [さいだい] 【名詞】 1. greatest 2. largest 3. maximum ・ エントロピー ： [えんとろぴー] 【名詞】 1. (1) entropy 2. (2) mean information content 3. average information content, (n) (1) entropy/(2) mean information content/average information content ・ ー ： [ちょうおん] (n) long vowel mark (usually only used in katakana) ・ 法 ： [ほう] 1. (n,n-suf) Act (law: the X Act)
最大エントロピー原理（さいだいエントロピーげんり、）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは E.T. Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。 == 概要 == 今確率変数 ''X'' について、 ''X'' が条件 ''I'' を満たす事だけが分かっており、それ以外に ''X'' に関して何1つ知らなかったとする。このとき、 ''X'' が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は ''X'' について条件 ''I'' 以外には何も知らないのだから、条件 ''I'' の下で ''X'' の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。 最大エントロピー原理は、「不確かさ」を図る尺度であるエントロピーを条件 ''I'' の下で最大にするよう分布を選ぶべきである、という原理である。ただし ''X'' の取る値が連続的な場合は、技術的な理由によりdifferential entropyではなく、後述の相対エントロピーを最大化する（Jaynesによれば、様々な理由により、こちらの方が「真の」エントロピーの概念である。）。 ''X'' が従う確率分布を とするとき、束縛条件 ''I'' として : のように に関する方程式の形で書けているものを考える。このような制限付き最適化問題は一般にラグランジュの未定乗数法で解くことが出来る。 抄文引用元・出典: フリー百科事典『 ウィキペディア（Wikipedia）』 ■ウィキペディアで「最大エントロピー原理」の詳細全文を読む スポンサード リンク
|