信息熵

梗概

• 信息熵是信息量的度量方法，它表示某一事件出现的消息越多，事件发生的可能性就越小，数学上就是概率越小。

信息熵的计算

• 某个事件的信息量用Ii=-${\log }_2{p}_i$
  • 表示，其中$p_i$为第i个事件的概率，0<Pi≤1

适用范围

算出来的信息熵=用多少个比特位可以表示的信息

特殊的信息熵

child::条件熵

实例

有一幅40个象素组成的灰度图像，灰度共有5级，分别用符号A、B、C、D和E表示，40个象素中出现灰度A的象素数有15个，出现灰度B的象素数有7个，出现灰度C的象素数有7个等等，如果每个象素用3位表示，编码这幅图像总共需要120位。

• 每个像素的出现概率×对应像素的熵，再相加

H(S)= & (15 / 40) * \log _2(40 / 15)+(7 / 40) * \log _2(40 / 7) \\ & +\cdots+(5 / 40) * \log _2(40 / 5) \\ = & 2.196 \end{aligned} $$