信息论与编码基础

出版时间：2010-2  出版社：电子工业出版社  作者：唐朝京，雷菁 著  页数：231  

前言

　　我们正处于一个通信与信息技术飞速发展的时代，对于通信工作者来说，这是个极好的机遇。经过一百多年的不断创新和进步，通信技术已取得了极其辉煌的成就，建立在宽带通信网络基础上的综合有线、无线多媒体通信系统及各种信息应用系统将构成未来信息社会的基本内涵，将为国民经济及社会生活全面信息化提供最重要的保证。　　通信技术的发展得益于通信理论的正确指导和通信关键工程技术的不断突破。从理论的角度来看，通信的两大基本问题是信息传输的可靠性和有效性。自从美国科学家C.E.Shannon于1948年创立信息论以来，经过众多通信科技工作者的努力，信息论和编码理论的研究取得了丰硕的成果。在信息的度量、信息传输特性、纠错编码与压缩编码性能极限等理论问题及各种纠错编码和信源压缩编码方法、信息传输容量的研究方面，都取得了重大突破，有力地促进了通信科技的不断发展。Shannon信息论为人们指出了实现有效而可靠通信的基本方向和理论极限，它对实际通信系统的设计产生了深刻的影响，通信工程人员在信息论方面的基础将对其事业的发展发挥重要作用。　　距离作者在国防科技大学出版社出版《信息论与编码基础》一书已有6年，这期间本书被多次重印。为适应信息技术发展的新形势，应广大师生的要求，作者结合这些年本书在教学中的使用情况和科研体会，重新编写了本书。在教材内容上充实了信息理论特别是编码技术发展的新成果和应用。书中包括香农信息论的基本内容及主要结论；压缩编码的基本原理；纠错原理、方法及其在现代通信系统中的应用等章节。内容涵盖了通信中有关信息处理的基本原理和方法。在编写过程中我们强调基本原理的理解，取材注意循序渐进、难度适中，并注重理论对实际应用的指导作用，在写法上力求条理清楚，逻辑性强，每章的习题包括基础部分和综合扩展部分。因此，本书适宜于作为通信工程及信息类专业的高年级本科生教材，也可作为其他专业学生及通信科技人员的参考书。　　全书共分7章，前4章由唐朝京编写，后3章由雷菁编写，她还参与了第四章的增补工作。本书在编写过程中得到了湖南大学易波副教授、国防科技大学黄英、陈明霜以及信息论课程组老师的帮助，还有多名研究生参与了文字校对工作。在出版过程中得到了电子工业出版社的大力支持，在此一并表示衷心的感谢！　　限于作者视野及学术水平，书中谬误疏漏之处实所难免，恳请读者批评指正。

内容概要

　　《信息论与编码基础》以香农信息论为基础，系统地介绍了通信系统中两大编码理论。重点阐述了香农信息论的基本理论、信源压缩编码及信道编码的原理与具体方法，力图将信息理论及编码理论与实际应用紧密结合。　　全书共分7章，其中包括：信息的概念与测度，离散信源、离散信道，信源压缩编码基础，信道编码基本理论，线性分组码和常用纠错码及其应用。　　《信息论与编码基础》文字通俗，概念清晰，重点突出，在内容上既有必要的数学分析，又强调物理概念的理解及直观图示。

书籍目录

第1章 绪论1.1 信息概念1.1.1 信息的概念及其内涵1.1.2 香农信息定义1.2 信息论研究的基本问题和主要内容1.2.1 信息论研究的基本问题1.2.2 信息论研究的主要内容1.3 信息理论的发展及其在通信系统中的作用1.3.1 信息理论的形成及与其他学科的交叉发展1.3.2 编码技术的发展及其在通信系统中的作用相关小知识——香农生平第2章 离散信源2.1 离散信源的信息熵2.1.1 信源模型2.1.2 自信息2.1.3 信息熵2.1.4 联合熵与条件熵2.2 熵的基本性质2.2.1 非负性2.2.2 确定性2.2.3 对称性2.2.4 熵的链式法则2.2.5 极值性2.2.6 熵的独立界2.3 信源的剩余度本章小结习题二综合拓展题相关小知识——熵的由来第3章 离散信道3.1 信道疑义度与平均互信息3.1.1 信道模型3.1.2 信道疑义度3.1.3 平均互信息及其性质3.2 信道容量3.2.1 信道容量的定义3.2.2 简单离散信道的信道容量3.2.3 对称离散信道的信道容量3.2.4 离散无记忆N次扩展信道的信道容量3.2.5 香农公式3.3 有噪信道编码定理3.3.1 有噪信道编码定理3.3.2 编码定理的指导意义本章小结习题三综合拓展题第4章 信源压缩编码基础4.1 无失真可变长信源编码定理4.1.1 信源编码器4.1.2 无失真可变长信源编码定理4.2 保真度准则下的信源编码定理4.2.1 失真度与信息率失真函数4.2.2 保真度准则下的信源编码定理4.3 预测编码4.3.1 预测编码的基本原理及预测模型4.3.2 信源的线性预测编码4.3.3 语音的线性预测编码4.4 变换编码4.4.1 变换编码的基本原理4.4.2 典型的变换编码方法4.4.3 DCT压缩的特征4.5 统计编码4.5.1 统计编码的概念4.5.2 统计编码常用方法4.5.3 MH编码4.6 压缩编码应用综述4.6.1 声音压缩标准4.6.2 静止图像压缩标准4.6.3 视频压缩标准本章小结习题四综合拓展题相关小知识——霍夫曼生平第5章 信道编码基本原理5.1 概述5.1.1 数字通信系统模型5.1.2 差错控制系统分类5.1.3 纠错编码分类5.2 信道编码的基本概念5.2.1 信道编码的一般方法5.2.2 信道编码的基本参数5.2.3 最大似然译码5.3 常用检错码5.3.1 奇偶校验码5.3.2 水平一致校验码5.3.3 水平垂直一致校验码5.3.4 群计数码5.3.5 等比码本章小结习题五综合拓展题第6章 线性分组码6.1 线性分组码的基本原理6.1.1 基本概念6.1.2 生成矩阵和一致校验矩阵6.1.3 线性分组码的译码及纠错能力6.1.4 汉明码简介6.2 循环码的基本原理6.2.1 基本概念6.2.2 循环码的编码6.2.3 循环码的一般译码方法6.2.4 循环汉明码及其派生码本章小结习题六综合拓展题相关小知识——汉明生平第7章 常用纠错码及其应用7.1 CRC码的应用及性能7.1.1 基本概念7.1.2 CRC码在数据链路协议中的应用7.1.3 CRC码在DECT标准中的应用7.1.4 CRC码在ATM中的应用7.2 BCH码及RS码的应用及性能7.2.1 基本概念7.2.2 无线寻呼系统中的前向纠错方案7.2.3 DVB?H标准中的前向纠错方案7.2.4 RS码在存储系统中的应用7.3 卷积码的应用及性能7.3.1 卷积码的概念与描述方法7.3.2 卷积码在移动通信中的应用7.3.3 级联卷积编码系统在NASA系统中的应用7.3.4 宽带无线接入中的纠错编码7.4 交织技术7.4.1 基本概念7.4.2 移动通信中的交织7.4.3 CCSDS标准中的交织纠错方案7.5 纠错编码新技术7.5.1 Turbo码7.5.2 TPC码7.5.3 LDPC码7.5.4 TCM技术本章小结习题七综合拓展题相关小知识——维特比简介参考文献英文缩写名词对照表

章节摘录

　　信息传输的有效性是通信系统追求的另一重要目标，有效性是指在一定的时间内传输尽可能多的信息量，或在每一个传送符号内携带尽可能多的信息量，这就需要对信源进行高效率的压缩编码，尽量去除信源中的冗余度。信源编码的研究要略早于香农信息论。科尔莫哥洛夫与维纳分别于1941年和1942年进行了线性预测的开创性工作，他们以均方量化误差最小为准则，建立了最优预测原理，为后来的线性预测压缩编码铺平了道路。　　尽管数据压缩的实际研究在香农信息论建立之前已有一些成果，但经典数据压缩的理论基础却是香农信息论。香农信息论认为，统计冗余度在各种信源中是普遍存在的，如何在不失真或限定失真的条件下对信源进行高效压缩是信息论研究的重点，香农第一定理和第三定理分别从理论上给出了无失真信源编码和限失真信源编码的压缩极限，对于压缩编码的研究具有重要的理论指导意义。香农信息论对信源统计冗余度的透彻分析为各种具体压缩编码方法的研究提供了明确的思路。　　1952年哈夫曼（Huffman）提出了一种重要的无失真信源编码方法——Huffman码，这是一种不等长码，它可以很好地达到香农1948年证明的无失真信源编码定理所指出的压缩极限，已被证明是平均码长最短的最佳码。为了进一步提高有记忆信源的压缩效率，20世纪60年代至70年代人们开始将各种正交变换用于信源压缩编码，先后得到了DFT、KLT、DCT、WHT、ST等多种变换，其中KLT为最佳变换。但KLT实用性不强，综合性能最好的是离散余弦变换DCT。DCT、变换现已被确定为多种图像压缩国际标准的主要压缩手段，得到了极为广泛的应用。在连续信源限失真压缩编码研究方面，林特（Linde）、波茹（Buzo）和格雷（Gray）三人于1980年提出了矢量量化方法。矢量量化在利用数据相关性、减少量化失真半径、减小均方量化失真等方面均要优于普通的标量量化，是一种很重要的信源编码方法。　　除了上述几类经典的信源压缩编码方法之外，信源压缩领域，还陆续提出了多种新的压缩原理和方法，以及针对语音、音频、图像、视频等内容的压缩体制。值得关注的无损压缩算法有：算术编码、ppm编码、BWT、编码和基于字典的LZ系列编码算法等。算术编码可以取得趋向于信源一阶熵的压缩效果，从理论上，可以把不相关信源符号压缩到其理论极限；其实际压缩率，常常优于Huffman编码。因而在许多图像压缩体制中，算术编码被用做取代Huffman编码的熵编码算法。ppm编码方法可以利用信源符号之间的相关性，其压缩目标是信源的条件熵，可突破信源一阶熵，被认为是目前无损压缩最好的算法。BWI、采用了非常新颖的思路进行文本符号的压缩；LZ系列的压缩方法，已经在计算机文件压缩软件中得到广泛应用。这两者的压缩率也可以达到ppm的水平。　　……