香农第一编码定律说明 香农第一编码定理

香农第一编码定律说明？

香农第一定理是可变长无失真信源编码定理。

设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为

B=PK1B1+PK2B2+…+PKN^kBN^k

当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）

香农第一定理又称为无失真信源编码定理或变长码信源编码定理。

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

延伸阅读

信号编码技术的发展？

香农提出了信道编码定理，并在其证明中引用了三个基本条件：

采用随机编码方式;

码字长度趋于无穷大;

采用最大似然译码算法。

一个随机选择的码以很高的概率为好码，对于随机码的最大似然译码，其译码复杂度G与所传输的信息比特数呈指数关系，即为G=exp（NR），随机码的误码率上限为以Pe～G-Eb（R）/R，误码率随着码长N趋于无穷大而趋向于0的同时，译码复杂度以指数增长，可见随机码在实际系统里其实并不实用。

由于信道编码定理证明的非构造性，并没有给出如何构造逼近香农容量限的编码方法，构造一个逼近香农容量限的纠错码成了众多学者争相研究的课题，并逐渐形成了信息论的一个重要分支—信道编码理论。

从构造方法上看，纠错码可分为分组码和卷积码两大类。在20世纪50年代到60年代，人们主要研究了线性分组码。这类编码以代数中的群论、域论等理论为数学基础，利用各种代数方法设计好的纠错码，并研究与之相适应的译码算法。

第一个分组码是1950年发现的能纠正单个错误的汉明（Hamming）码。1950年汉明（Hanmming ．R．W）发表的论文《检错码与纠错码》是开拓编码理论研究的第一篇论文，考虑在计算机中纠正单个错误。汉明码（7，4），码率为4/7，需要3个监督位，码率不高，同时纠错能力有限，只能纠正单一错误。

M．Golay针对汉明码的缺点提出了性能更好的格雷（Galay）码，Golay发现了两种编码，一种是二元Golay码，采用12个数据比特，11个校验比特为一组，能纠正3个错误。第二种是三元Golay码，以三进制数为运算域，6个数据符号，5个校验符号为一组，可以纠正2个错误。

这两种码基本原理相同，都是将q元符号按每k个分为一组，然后通过编码得到n-k个q元符号作为冗余校验符号，最后由校验符号和信息符号组成有n个q元符号的码子符号，编码码率为r=k/n。

Muller在1954年以布尔逻辑代数方式提出了Reed．Muller码（RM码），它比Hamming码和Golay码好的地方是它可以改变码字大小和纠错能力，是Reed在Muller基础上得到的一种新的分组码，也是继格雷码之后提出的最主要的一类分组码。

继RM码之后，Prange于1957年又提出了循环码的概念。循环码实际上也是一类分组码，但是它的码字具有循环移位特性，即码字比特经过循环移位以后仍然是码字集合中的码字。这种循环结构使码字的设计范围大大增加，同时大大的简化了编译码结构。

循环码的一个非常重要的子集就是分别由Hocquenghem在1959年以及Bose和Ray—Chuadhuri研究组在1 960年几乎同时提出的BCH（Bose Chuadhuri Hocquen曲em）码，CH码的码字长度为n=qm-1，其中m为一个整数。二元BCH码（q=2）的纠错能力限为，t《（2m-1）。

1960年Reed和Solomon将BCH码扩展到非二元（q》2）的情况，得到了RS（Reed．Solomon）码。RS码的最大优点是其非二元特性可以纠正突发错误并日．它也能纠正随机错误。

但直到1967年Berlekamp给出了一个非常有效的译码算法之后，RS码才在实际系统中崭露头角，比如在CD播放器、DVD播放器以及CDPD（Cellular Digital Packet Data）标准中都得到了很好的应用。

上述讨论的这些都是分组码，分组码存在一些不足，应用受限。首先，必须是按帧传输、按帧译码，这样在帧长较长时会带来一定的时延。其次，要求准确的帧同步，这样才能准确译码。多数分组码要求解调器的硬判决输出，这样又会带来一些判决误差，影响性能。此外，分组码的译码方法通常都采用大数逻辑译码和捕错译码，其译码复杂度与码长成指数关系，码长越长，译码复杂度越大，而且上升趋势很快，所以基本上不实用。

1955年，Elias等人首先提出了卷积码。卷积码不是将数据分割成不同的分组，而是通过移位寄存器将校验比特加入输入数据流中。每n比特输出是当前k比特输入和寄存器中的m比特的线性组合，每次输出总的比特数与约束长度k有关，其码率为存一次编码间隔中数据比特k与输出比特数n之比。

卷积码与分组码不同在于它在编码的过程中引入了寄存器，增加了码元之间的相关性，在相同的复杂度下可以获得比分组码更高的编码增益，但是这种相关性同时也增加了分析和设计卷积码的复杂性。

随着人们对卷积码研究的深入，在卷积码的译码算法方面出现了序列译码算法、门限译码算法和维特比（Viterbi）译码算法。

维特比（Viterbi）译码算法的出现，使卷积码逐渐成为研究和应用的重点，以后出现的TCM（栅格编码调制）技术进一步确立了卷积码在纠错码应用中的主导地位，特别是在通信系统中得到了极为广泛的应用。

通信系统香农公式是什么？

香农提出并严格证明了“在被高斯白噪声干扰的信道中，计算最大信息传送速率C公式”：C=Blog2(1+S/N)。式中：B是信道带宽（赫兹），S是信号功率（瓦），N是噪声功率（瓦）。该式即为著名的香农公式，显然，信道容量与信道带宽成正比，同时还取决于系统信噪比以及编码技术种类香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。

该定理还指出：如果R>C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。

信息论与编码信息的基本特点是什么？

信息论研究信息的度量，内容主要围绕香农三大定理展开，研究在不许失真的情况下信息传输率的极限值，以及给定信源且允许一定失真的条件下信息速率极限值，并研究在误码率小于给定值的条件下如何最有效地利用信道的传输能力。

编码是后人沿着香农指明的可行方向，为寻求有效而可靠的编译方法而发展起来的一门学科，主要研究在有噪信道条件下各种可行的编码方案及实施技术。

香农提出的信道编码理论适用于哪种？

C.E.Shannon在其“通信的数学理论”一文中提出并证明了著名的有噪信道编码定理，他在证明信息速率达到信道容量可实现无差错传输时引用了3个基本条件：

1） 采用随机性编译码。

2） 编码长度L趋于无穷，即分组的码组长度无限。

3） 译码过程采用最佳的最大似然译码（ML）方案。

香农三大定理？

是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理，香农第二定理是有噪信道编码定理，香农第三定理是保失真度准则下的有失真信源编码定理。

香农第一定理

香农第一定理(可变长无失真信源编码定理)

设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为

B=PK1B1+PK2B2+…+PKN^kBN^k

当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）

香农第一定理又称为无失真信源编码定理或变长码信源编码定理。

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

香农第二定理

香农第二定理（有噪信道编码定理）

有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

公式：

注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。[1]

香农第三定理

香农第三定理（保失真度准则下的有失真信源编码定理）

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D.

设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D>=0，和任意小的a>0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。

香农编码是变长码吗

香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。

香农第一定理是可变长无失真信源编码定理。

香农第二定理是有噪信道编码定理。

香农第三定理是保失真度准则下的有失真信源编码定理。

香农编码中码长怎么计算？

香农编码的步骤如下:(1)将信源符号按其出现概率从大到小排序;(2)计算出各概率对应的码字长度;(3)计算累加概率;