うさぎでもわかる情報量・エントロピー・相互情報量（情報理論）
このとき、この天の声Aさんの情報のエントロピーはいくらになるかを計算してみましょう。100が出る確率は1%、それ以外が出る確率は99%なので、エントロピーは、\[ -\frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 0.081 \]となり、「100が出ないという情報」はたったの0.08[bit]しかないのです。つまり天の声Aさんの情報は大した情報ではないってことがわかります。（天の声Aさんに失礼）実際100面ダイスを振って100が出るか出ないかは振る前にだいたい予測がつきますよね…。
つぎに、天の声Bさんから「つぎにダイスを振ったときに96以上が出るか出ないかを教えてあげよう。」と言われました。天の声Aさんの情報よりは少し詳しい情報ですね。
またエントロピーを計算してみましょう。96以上が出る確率は5%、それ以外が出る確率は95%なので、エントロピーは、\[ -\frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 0.286 \]となります。確かに天の声Aさんの情報よりも大事な情報だということができますね。
また天の声が聞こえてきました。「このダイスは51以上が出るかでないかを教えてあげよう。」前の２つの声に比べて非常に範囲が狭まりましたね。
実際エントロピーを計算すると、\[ -\frac \log_2 \frac - \frac \log_2 \frac = 1 \]と、かなり大きい数値になってます。つまり、前の２つの天の声の情報に比べたら重みがある情報と言うことができます。
３．相互情報量
最後に相互情報量についてです。相互情報量は、 2つの情報が互いに影響を及ぼす量 のことを表します。
例えば、カープの勝敗を伝える情報源 \( A \) があったとします。100日間のカープの勝敗を記録した結果、60日は勝利、40日は負けていました。言い換えると、\( 3/5 \) の確率でカープは勝利し、\( 2/5 \) の確率でカープは負けると言えます。よって、カープの勝敗を伝える情報源のエントロピー \( H(A) \) は、\[ H(A) = - \frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 0.971\]となります。
さらにもう1つ情報源 \( B \) を追加します。カープファンであるMくんのカープの試合があった翌日の機嫌を100日間集計した結果、機嫌がよい日が55日、機嫌が悪い日が45日ありました。すると、この情報源のエントロピー \( H(B) \) は、\[ H(B) = - \frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 0.993\]となります。
この2つの情報 \( A,B \) を100日間記録していったところ、つぎの表の結果が得られました。
勝利敗北合計機嫌良401555機嫌悪202545合計6040100さて、この情報源 \( A \) と情報源 \( B \) はどれほど影響を及ぼしているかを相互情報量を計算することで計算してみましょう。
(1) Mくんの機嫌を中心に考えるまずは、 Mくんの機嫌を中心に考える方法 です。Mくんの機嫌と、カープの勝敗がわかった際のMくんの機嫌の良し悪しの情報量の2つを比較します。
勝利敗北合計機嫌良401555機嫌悪202545合計6040100(a) カープ勝利時のMくんの機嫌が良い条件付き確率 \( P(B_|A_) \)
カープが勝った60日のうち、Mくんの機嫌が良いときは40日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = \frac\]となります。
(b) カープ勝利時のMくんの機嫌が悪い条件付き確率 \( P(B_|A_) \)
カープが勝った60日のうち、Mくんの機嫌が悪いときは20日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = \frac\]となります。
(c) カープ敗北時のMくんの機嫌が良い条件付き確率 \( P(B_|A_) \)
カープが負けた40日のうち、Mくんの機嫌が良いときは15日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = \frac\]となります。
(d) カープ敗北時のMくんの機嫌が悪い条件付き確率 \( P(B_|A_) \)
カープが負けた40日のうち、Mくんの機嫌が悪いときは25日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = \frac\]となります。
つぎにカープの勝敗が分かったときのMくんの機嫌の良し悪しの情報量を表す条件つきエントロピーをもとめます。カープが勝利する確率は \( 3/5 \)、敗北する確率は \( 2/5 \) なので条件つき情報量 \( H(B|A) \) は、\[ H(B|A) = - \frac \left( \frac \log_2 \frac + \frac \log_2 \frac \right) - \frac \left( \frac \log_2 \frac + \frac \log_2 \frac \right) \fallingdotseq 0.933 \]
となります。相互情報量は、Mくんの機嫌を伝える情報のエントロピー \( H(B) \) から、カープの勝敗が判明したときのMくんの機嫌の良し悪しを伝える条件つきエントロピー \( H(B|A) \) を引いた値で求めることができます。よって相互情報量 \( I(A;B) \) は、\[ I(A;B) = H(B) - H(B|A) \fallingdotseq 0.993 - 0.933 = 0.060 \]と計算することができます。
(2) カープの試合を基準に考えるMくんではなく、 カープの試合を基準に 考えてから相互情報量を出す方法もあります。
勝利敗北合計機嫌良401555機嫌悪202545合計6040100(a) Mくんの機嫌が良いときのカープが勝利した条件つき確率 \( P(A_|B_) \)
Mくんの機嫌がよかった55日のうち、カープが勝利していたのは40試合なので、条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
(b) Mくんの機嫌が良いときのカープが負けた条件つき確率 \( P(A_|B_) \)
Mくんの機嫌がよかった55日のうち、カープが負けていたのは15試合なので、なので条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
(c) Mくんの機嫌が悪いときのカープが勝利した条件つき確率 \( P(A_|B_) \)
Mくんの機嫌が悪かった45日のうち、カープが勝利していたのは20試合なので、条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
(d) Mくんの機嫌が悪いときのカープが敗北した条件つき確率 \( P(A_|B_) \)
Mくんの機嫌が悪かった45日のうち、カープが負けたのは25試合なので、条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
条件つき確率を求め終えたら、今度は「Mくんの機嫌の良し悪しが分かった場合のカープの勝敗を表す条件つきエントロピー \( H(A|B) \) 」をもとめます。Mくんの機嫌が良い確率は \( 11/20 \)、悪い確率は \( 9/20 \) なので条件つき情報量 \( H(A|B) \) は、\[ H(A|B) = - \frac \left( \frac \log_2 \frac + \frac \log_2 \frac \right) - \frac \left( \frac \log_2 \frac + \frac \log_2 \frac \right) \fallingdotseq 0.911 \]と求められます。
相互情報量は、カープの勝敗を伝える情報のエントロピー \( H(A) \) から、Mくんの機嫌が判明したときのカープの勝敗を伝える条件つきエントロピー \( H(A|B) \) を引いた値で求めることができます。よって相互情報量 \( I(A;B) \) は、\[ I(A;B) = H(A) - H(A|B) \fallingdotseq 0.971 - 0.911 = 0.060 \]と計算することができます。
(3) 2つのエントロピーと結合エントロピーの差分で求める 勝利敗北合計機嫌良401555機嫌悪202545合計6040100(a) 「カープが勝利」かつ「Aくんの機嫌が良い」確率
(b) 「カープが勝利」かつ「Aくんの機嫌が悪い」確率
(c) 「カープが敗北」かつ「Aくんの機嫌が良い」確率
(d) 「カープが敗北」かつ「Aくんの機嫌が悪い」確率
つぎに、(a),(b),(c),(d)の情報からなる情報源のエントロピー\( H(A;B) \) をもとめます（結合エントロピーと呼びます）。
\[ H(A;B) = - \frac \log_2 \frac - \frac \log_2 \frac - \frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 1.904 \]
相互情報量 \( I(A;B) \) は、もともとのエントロピー \( H(A) \) と \( H(B) \) から、結合エントロピー \( H(A;B) \) の差分で求められます。よって相互情報量 \( I(A;B) \) は、\[ I(A;B) = H(A) + H(B) - H(A;B) \fallingdotseq 0.971 + 0.993 - 1.904 = 0.060 \]と計算することができます。
４．極端な場合の相互情報量
(1) 相互情報量が全くない状態まずは、 相互情報量がまったくない状態 、言い換えると 2つの情報が全く関連性のない状態 を考えます。例えば、つぎのような状態を考えましょう。
情報源 \( A \) ：ホークスの勝敗を伝える情報源情報源 \( B \) ：カープファンであるMくんの機嫌を伝える情報源
この2つの情報 \( A,B \) を100日間記録していったところ、つぎの表の結果が得られました。
勝利敗北合計機嫌良453075機嫌悪151025合計6040100さて、この情報源 \( A \) と情報源 \( B \) はどれほど影響を及ぼしているかを相互情報量を計算することで計算してみましょう。
ホークスが勝利する確率は \( 3/5 \)、ホークスが敗北する確率は \( 2/5 \) なので、ホークスの勝敗を伝える情報源 \( A \) のエントロピー \( H(A) \) は、\[ H(A) = - \frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 0.971\]となります。
勝利敗北合計機嫌良453075機嫌悪151025合計6040100(a) Mくんの機嫌が良いときのホークスが勝利した条件つき確率 \( P(A_|B_) \)
Mくんの機嫌がよかった75日のうち、ホークスが勝利していたのは45試合なので、条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
(b) Mくんの機嫌が良いときのホークスが負けた条件つき確率 \( P(A_|B_) \)
Mくんの機嫌がよかった75日のうち、カープが負けていたのは30試合なので、なので条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
(c) Mくんの機嫌が悪いときのホークスが勝利した条件つき確率 \( P(A_|B_) \)
Mくんの機嫌が悪かった25日のうち、カープが勝利していたのは15試合なので、条件つき確率は、\[ P(A_|B_) = \frac = \frac\]となります。
(d)Mくんの機嫌が悪いときのホークスが敗北した条件つき確率 \( P(A_|B_) \)
Mくんの機嫌が良い確率は \( 3/4 \)、悪い確率は \( 1/4 \) なので条件つき情報量 \( H(A|B) \) は、\[ H(A|B) = - \frac \left( \frac \log_2 \frac + \frac \log_2 \frac \right) - \frac \left( \frac \log_2 \frac + \frac \log_2 \frac \right) \fallingdotseq 0.971 \]と求められます。
条件つき確率を求めると、 Mくんの機嫌が良かろうが悪かろうがホークスが敗北した確率は変わらない ことがわかりますね。
よって相互情報量 \( I(A;B) \) は、\[ I(A;B) = H(A) - H(A|B) = 0 \]となり、全く相互情報量がないことがわかります。
(2) 相互情報量が非常に大きい場合情報源 \( A \) ：ホークスの勝敗を伝える情報源情報源 \( B \) ：熱狂的なホークスファンの先生の機嫌を
この2つの情報 \( A,B \) を100日間記録していったところ、つぎの表の結果が得られました。
勝利敗北合計機嫌良57057機嫌悪04343合計5743100さて、この情報源 \( A \) と情報源 \( B \) はどれほど影響を及ぼしているかを相互情報量を計算することで計算してみましょう。
情報源 \( B \) のエントロピー \( H(B) \) は、\[ H(B) = - \frac \log_2 \frac - \frac \log_2 \frac \fallingdotseq 0.986\]となります。
勝利敗北合計機嫌良57057機嫌悪04343合計5743100(a) ホークス勝利時の先生の機嫌が良い条件付き確率 \( P(B_|A_) \)
ホークスが勝った57日のうち、先生の機嫌が良いときは57日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = 1\]となります。
(b) ホークス勝利時の先生の機嫌が悪い条件付き確率 \( P(B_|A_) \)
ホークスが勝った57日のうち、先生の機嫌が悪いときは0日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = 0\]となります。
(c) ホークス敗北時の先生の機嫌が良い条件付き確率 \( P(B_|A_) \)
ホークスが負けた43日のうち、先生の機嫌が良いときは0日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = 0\]となります。
(d) ホークス敗北時の先生の機嫌が悪い条件付き確率 \( P(B_|A_) \)
ホークスが負けた43日のうち、先生の機嫌が悪いときは43日ありました。なので条件つき確率は、\[ P(B_|A_) = \frac = 1\]となります。
ホークスが勝つ確率は \( 57/100 \)、負ける確率は \( 43/100 \) なので条件つき情報量 \( H(A|B) \) は、\[ H(A|B) = - \frac \left( 1 \log_2 1 + \lim_ x \log_2 x \right) - \frac \left(\lim_ x \log_2 x + 1 \log_2 1 \right) = 0 \]と求められます。*4
よって相互情報量 \( I(A;B) \) は、\[ I(A;B) = H(A) - H(A|B) = H(A) \fallingdotseq 0.986 \]となります。言い換えると、\( H(A) \) か \( H(B) \) のどちらかの情報を知ることができれば、もう一方の情報はすぐわかる、ということを表します。
５．さいごに
*3 : 数式だと、それぞれの事象が起こる確率をそれぞれ \( p(1),p(2),p(3), \cdots, p(n) \) としたとき \( p(1) = p(2)= \cdots = p(i) \) と表せる。
*4 : \( (A|B) = 0 \) は言い換えると、ホークスの勝敗を知ってしまえば先生の機嫌に不確かさは存在しない、つまりホークスの勝敗を見れば先生の機嫌が自明ということ。
公開日： 2019年5月30日 更新日： 2019年5月30日 この記事を書いた人 コメント一覧 あー 2019-12-19 01:48:54 返信 全部読んでないのでアレですが、エントロピーは情報源の期待値ではなく、情報量の期待値と書く方が適切ではないでしょうか。 momoyama1192 2019-12-20 13:09:06 返信 あーさんコメント・指摘ありがとうございます。すいません誤字してました……(-_-;)修正したので確認お願いします。 関連記事 うさぎでもわかるオートマトンと言語理論 第09羽 正規表現と有限オートマトン うさぎでもわかる信号処理・制御工学 第10羽 複素フーリエ級数変換 うさぎでもわかる線形代数 第09羽 部分空間その2（和空間・交空間） 【基本情報対策】うさぎでもわかるデータベース 第01羽 関係データベース（主キーと外部キーの違い） うさぎでもわかるヒープアルゴリズム うさぎでもわかる解析 Part15 合成関数の偏微分 うさぎでもわかる計算機システム Part09 組み合わせ回路・順序回路 うさぎでもわかるデータベースの正規化・正規系判定（基本情報・応用情報） Prologのカットオペレーターの動作 論理プログラム(Prolog)のコツカテゴリー
各種便利ツール・問い合わせ- 【完全無料】離散数学演習ツール・計算機まとめ
- 【離散数学】べき集合 2^A・P(A) 自動計算＆全列挙ツール
- 【離散数学】真理値表 自動作成ツール（途中式あり）
- 【離散数学】集合の「∈・⊆」真偽チェッカー（答え合わせ用）
- 【離散数学テスト対策】真理値表の穴埋めガチ演習ツール
- 【離散数学テスト対策】集合の「∈・⊆」ガチ演習！ 弱点分析つき○×ドリル
目次
- １．「情報量」とは…？
- ２．エントロピー（平均情報量）
- (1) 情報源が2つの場合
- (2) 情報源を少し増やした場合
- (3) さらに情報源を増やした場合
- (1) Mくんの機嫌を中心に考える
- (2) カープの試合を基準に考える
- (3) 2つのエントロピーと結合エントロピーの差分で求める
- (1) 相互情報量が全くない状態
- (2) 相互情報量が非常に大きい場合
工業大学生ももやまのうさぎ塾 (Momousagi Academy)
コンピュータグラフィックス コンピュータビジョン- １．「情報量」とは…？
- ２．エントロピー（平均情報量）
- (1) 情報源が2つの場合
- (2) 情報源を少し増やした場合
- (3) さらに情報源を増やした場合
- (1) Mくんの機嫌を中心に考える
- (2) カープの試合を基準に考える
- (3) 2つのエントロピーと結合エントロピーの差分で求める
- (1) 相互情報量が全くない状態
- (2) 相互情報量が非常に大きい場合