ISEGORIA / 数学百科事典
情報理論：不確実性と符号
エントロピー・雑音のある通信路・情報距離を探ります。
前提知識: 確率と対数
予想してから操作し、計算例と問いで理解を確かめてください。グラフは数式の図示であり、証明ではありません。
1. エントロピー
二値情報源を調整します。左図では各結果をブロックで表し、幅が確率、高さが驚き −log₂ p(x) です。したがって網掛けの総面積がエントロピー、すなわち平均の驚きになります。右図のエントロピーは公平なコインで最大の1ビットになります。
計算例. p = 0.9 なら H = 0.9·log₂(1/0.9) + 0.1·log₂(10) ≈ 0.469 ビットです。
注意点. エントロピーはメッセージの意味ではなく分布の不確実性を測ります。
二値エントロピーが最大になるのは？
p=1/2のときです。
2. 雑音のある通信路
各ビットは確率 f で反転します。相互情報量は出力の不確実性 H(Y) から雑音による部分 H(Y | X) = H(f) を引いたものです。入力確率をドラッグすると、差は一様な入力で最大になり、その最大値が容量 1 − H(f) です。
計算例. 雑音のない二値通信路（f = 0）の容量は1ビット、f = 0.1 では約0.531ビットです。
注意点. 容量は漸近的な符号化限界で、短い一通の成功率ではありません。
反転確率が1/2だとどうなりますか？
出力は入力から独立し、相互情報量は0です。
3. ダイバージェンス
観測された2値の分布 P とモデル Q を比べます。左図は和の2つの項を示し、一方は負になり得ますが合計は負になりません。右図はモデルを動かしたときの D(P ‖ Q) と逆向きの D(Q ‖ P) で、どちらも q = p のときだけ0になります。
計算例. \(D_{\mathrm{KL}}(P\|Q)\) が0になるのは2つの分布が一致するときだけです。p = 0.7、q = 0.5 では 0.7·log₂(1.4) + 0.3·log₂(0.6) ≈ 0.119 ビットです。
注意点. 対称ではなく、距離関数でもありません。
Q(x)が小さいとコストが大きいのはなぜですか？
起こる事象を過小評価するとlog(P/Q)が大きくなるためです。