第13回 (統計学第2回) 情報エントロピー / さまざまな確率分布
このページはプログラマのための数学勉強会を聴講したときの個人的なノートである。
第13回プログラマのための数学勉強会(2013/12/05)の資料
http://nineties.github.io/math-seminar/13.html
第13回プログラマのための数学勉強会(2013/12/05)の動画
http://www.youtube.com/watch?v=O2ouPUxzzLI
情報エントロピー 2013/12/22
http://nineties.github.io/math-seminar/13.html#/3
- 情報量
http://nineties.github.io/math-seminar/13.html#/5- 情報量の大きいデータを解析することに価値がある
- 情報量の小さいデータを解析してもマシンパワーが無駄なだけ
- 情報量 \( I(A) \)
http://nineties.github.io/math-seminar/13.html#/7- \[ I(A) = -\log P(A) \] \( \log \) の底はなんでもよい
- 情報エントロピー(シャノン情報量)
http://nineties.github.io/math-seminar/13.html#/10- \[ H(X) = - \sum_i P(X = x_i) \log P(X = x_i) \]
- 連続的な確率分布の場合の情報エントロピー
- \[ h(x) = - \int_{-\infty}^{+\infty} \rho(x) \log \rho(x) \mathrm{d}x \]
- ただしこれはシャノン情報量とは言わない
- エントロピーはすべての事象の確率が等しいときに最大となる
http://nineties.github.io/math-seminar/13.html#/12 - エントロピー
http://nineties.github.io/math-seminar/13.html#/14- 「乱雑さの度合い」
- 情報科学におけるエントロピーは統計力学におけるエントロピーと定数倍を除いて一致する
- 情報科学と統計力学(物理学)との接点
- 情報を削除すると熱が発生する: マクスウェルの悪魔
- 情報をエネルギーに変換することに成功！
http://www.s.u-tokyo.ac.jp/ja/press/2010/42.html
- 情報をエネルギーに変換することに成功！
- データの圧縮への応用
http://nineties.github.io/math-seminar/13.html#/15 - 結合エントロピー
http://nineties.github.io/math-seminar/13.html#/17- \[ H(X, Y) = -\sum_{i, j} P(X = x_i, Y = y_i) \log P(X = x_i, Y = y_i) \]
- 相互情報量
http://nineties.github.io/math-seminar/13.html#/17- \[ I(X, Y) = H(X) + H(Y) - H(X, Y) \]
- \[ \text{確率変数} X, Y \text{が独立} \Leftrightarrow I(X, Y) = 0 \] http://nineties.github.io/math-seminar/13.html#/18
- 相互情報量が小さいほど独立に近い
さまざまな確率分布 2014/01/19
http://nineties.github.io/math-seminar/13.html#/19
- 離散一様分布
http://nineties.github.io/math-seminar/13.html#/21 - 連続一様分布
http://nineties.github.io/math-seminar/13.html#/22- \( U(a, b) \) と書く
- 確率密度関数 \[ \rho(x) = \left\{ \begin{array}{cl} \frac{1}{b - a} & (a \leq x \leq b) \\ 0 & (\text{otherwise}) \end{array} \right. \]
- 平均 \[ \mu = \frac{a + b}{2} \]
- 分散 \[ \sigma^2 = \frac{(b - a)^2}{12} \]
- ベルヌーイ分布
http://nineties.github.io/math-seminar/13.html#/24- \[ P(X) = \left\{ \begin{array}{cl} 1 - p & (X = 0) \\ p & (X = 1) \end{array} \right. \]
- コイン投げなど、結果が2通りしかないもの
- この試行のことをベルヌーイ試行という
- 平均 \[ \mu = p \]
- 分散 \[ \sigma^2 = p(1 - p) \]
- 二項分布
http://nineties.github.io/math-seminar/13.html#/25- ベルヌーイ試行を\(n\)回試行して片方の結果になった回数の分布
- 例
- ランダムウォーク
- \(n\)がとても大きいと正規分布に近づく
- \[ P(X = k) = {}_nC_k p^k (1 - p)^{n-k} \]
- \( B(n, p) \) と書く
- 二項分布の再生性
http://nineties.github.io/math-seminar/13.html#/27 - 平均 \[ \mu = np \]
- 分散
\[ \sigma^2 = np(1 - p) \]
- 試行回数が2倍になれば、分布の広がりは \( \sqrt{2} \) 倍になるということ
- 余談
- \( {}_nC_k \) をまじめに階乗で計算してしまうと
あっという間にオーバーフローしてしまうので、要注意。
(Rubyだとオーバーフローしないから気づかないので、よりやっかいかも。)
普通は浮動小数点で漸化式を使って計算してしまう
- \[ {}_nC_k = \frac{n}{k} {}_{n-1}C_{k-1} \]
- \( {}_nC_k \) をまじめに階乗で計算してしまうと
あっという間にオーバーフローしてしまうので、要注意。
(Rubyだとオーバーフローしないから気づかないので、よりやっかいかも。)
普通は浮動小数点で漸化式を使って計算してしまう
- 負の二項分布
http://nineties.github.io/math-seminar/13.html#/28 - ポアソン分布
http://nineties.github.io/math-seminar/13.html#/30- 例
- 毎秒\(\lambda\)のアクセス数があるウェブサービスの、秒間アクセス数の分布
- \( Po(\lambda) \) と書く
- \[ P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!} \]
- 平均 \[ \mu = \lambda \]
- 分散 \[ \sigma^2 = \lambda \]
- 例
書きかけ