信息理论基础

出版时间：1993-3  出版社：清华  作者：常同  页数：314  

前言

信息理论是应用十分广泛的基础学科。它随着通讯技术的发展而成熟起来，其影响几乎遍及所有的应用领域。本书着重介绍信息理论的基本概念和基本方法，如有关信息及其度量，信源及其编码，信道及其编码的基本概念和基本理论。其次，作为应用例子，介绍了数据的传输码、压缩码、检错及纠错码，多端信息网络，估计理论，试验假设及条形码等专题。本书可作高等院校的信息理论基础课程的教材或参考书，也可供在各种应用领域中对信息理论感兴趣的工程技术人员参考。常迥老师曾多次为研究生讲授信息理论基础课程。他深深情得信息理论基础对很多系的工科大学生与研究生来说起着多么重要的作用，很久以来，就希望在总结多年讲课经验的基础上，编写一本关于信息理论基础的书，以帮助更多的学生掌握这门学科的基本内容。但是，由于平时工作繁忙，这一愿望一直未能实现。直到1988年，他因患脑血栓而不能自由行走以后，这本书才得以动手编写。为了写好这本书，他在自编讲义的基础上，收集了国外最新的资料，一边翻译，一边编写。在两年多时间里，当我去他家时，常常可看到他挥汗工作的动人情景。常老师虽然是在病中，但在常师母的精心照料下，这项工作一直在紧张地进行，完成这本书的编写是他在病中的一大愿望，也是表达他对常师母的发自内心的感激。经过持续的努力，又得到清华大学出版社蔡鸿程同志和王性仁同志的帮助，进行校对，誊写，终于在l991年中完成了这本书的初稿。当他正准备对初稿进行修改时，不幸因突发心脏病而去世。这本书成了他最后的一部著作。为了实现常老师出版这本书的遗愿，受常师母的委托。信息理论是一门理论性很强、应用很广泛、有几十年发展历史的科学技术。l984年我为研究生开设了“信息理论基础”课，讲的内容仅限于最基本的概念和方法。从此每年讲授一次，前后共讲授了五遍。在此期间，与同学们相互切磋，得到不少启发；又阅读了不少资料。使我对信息理论有了一点认识。但由于缺乏这方面的实际科研工作，所以理解得不够深入，还有不少问题未能理解。但我有一种想法，即信息理论的基本概念和基本方法的确是非常重要的。不是还有不少人到现在仍分不清什么是信息、什么是消息、什么是信源、什么是信道，也不清楚为什么要编码、为什么要抽样。由于缺乏准确的科学的论断，往往产生错误，也就不可能有创新和发展。这样很容易对信息论产生神秘感和深奥感，缺乏实践的勇气，这就影响信息理论的应用和推广。其实，信息理论和控制理论、系统理论相似，都是最基础的科学技术理论。我认为只要不断思考，努力掌握住它的基本概念、基本特性和基本方法就能够在不断的实践中逐渐懂得其中的奥妙了。我一商想在我讲课的基础上，总结几年来的体会，写一本基础性的信息理论教科书，苦于无足够时间做这项工作。在公务烦忙之际，我不幸于1987年12月18日突患脑血栓症，致使左半身不遂。幸而右半身和思维能力未受影响，后渐渐康复，每天能工作二、三小时。于是开始动笔写这本《信息理论基础》，大约用了一年时间，写成初稿。因在病中写作，不免粗糙，很可能有不少错误，则待以后修正和加工了。由于全书内容较多，故分为基础与专题两大部分。我的意见是：在教学中，只讲授基础部分就可以了；专题部分在需要时，可作为参考内容，不必列为讲授内容。

内容概要

　　《信息理论基础》着重介绍信息理论的基本概念和基本方法，如有关信息及其度量，信源及其编码，信道及其编码的基本概念和基本理论。其次，作为应用例子，介绍了数据的传输码、压缩码、检错及纠错码，多端信息网络，估计理论，试验假设及条形码等专题。　　《信息理论基础》可作高等院校的信息理论基础课程的教材或参考书，也可供在各种应用领域中对信息理论感兴趣的工程技术人员参考。

作者简介

常迵，（1917.2.4-1991.8.8），字季高，祖籍河北省房山县（现属北京市）。电子学家、教育家，中国科学院院士。在无线电技术领域，从事电子线路、天线理论和发送技术的研究，对折叠天线的广泛应用起了推动作用。

书籍目录

前言第一章 概论1.1 信息理论的基本内容1.2 信息理论的发展简史1.3 控制论、信息论与系统论1.4 信息理论的应用1.5 本书的结构第二章 有关信息的基本概念与问题2.1 引言2.2 自信息与熵2.3 互信息2.4 多系统2.5 凸性定理2.6 唯一性定理2.7 马科夫过程与马科夫熵2.8 热熵与信息熵第三章 信源及其编码的一些基本概念和理论3.1 引言3.2 自然语言和文字作为信源3.3 信源熵3.4 信源编码3.5 无记忆信源3.6 定长码3.7 变长码3.8 码字的平均长度3.9 最优编码3.10 记忆信源3.11 平稳信源3.12 遍历性信源第四章 信道及其编码的一些基本概念和基本理论4.1 引言4.2 信道理论1.3 信道编码4.4 信道容量4.5 通信系统4.6 无记忆信道容量4.7 凸性4.8 信道容量方程的解4.9 唯一性4.10 传输特性4.1l 仙农定理4.12 级联信道4.13 无限级联问题4.14 并联信道附录习题第五章 连续信源与连续信道5.1 连续随机变量的熵5.2 连续信源与连续信道5.3 连续随机变量的微熵5.4 高斯信号的信息度量5.5 无记忆的高斯信道和高斯信源5.6 有记忆的高斯信道和信源5.7 抽样定理5.8 高斯波形信道与信源5.9 比特能量与比特误差率5.10 具有频带限制的信号5.11 无频带制约的信号5.12 熵功率不等式5.13 中心极限定理习题第六章 有关编码的一些基本概念6.1 引言6.2 变长码6.3 变长码定理6.4 克拉夫特定理6.5 最优码6.6 检错码6.7 纠错码6.8 汉明码6.9 加权码第七章 数据传输码7.1 引言7.2 离散含噪信道7.3 距离与分量的表示方法7.4 互信息函数7.5 数据传输的块码习题第八章 数据译码与紧缩码8.1 数据译码8.2 数据紧缩码8.3 离散信源的信息容量8.4 熵函数8.5 为数据紧缩的前束码习题第九章 数据压缩码9.1 引言9.2 大于信道容量的传输速率9.3 信息的压缩9.4 压缩数据的信息容量9.5 信息传输定理习题第十章 试验假设10.1 引言10.2 内曼一皮尔逊定理10.3 诺思滤波器10.4 判别函数10.5 在性能上的初步极限10.6 在性能上的渐近界限10.7 误差一指数函数10,8 逆定理10.9 切尔诺夫界限习题第十一章 估计理论11.1 引言11.2 参数的估计11.3 费希尔（Fisher）信息矩阵11.4 多重并行估计11.5 脉冲到达时间的估计11.6 脉冲到达频率的估计11.7 推理原理11.8 谱估计习题第十二章多端信息网络12.1 引言l2.2 反馈信道12.3 多用户信道12.4 广播信道12.5 双向信道12.6 相关数据的远程紧缩12.7 具有旁信息的数据紧缩l2.8 具有旁信息的数据压缩12.9 分布系统的数据压缩第十三章 检错码与纠错码13.1 引言13.2 定长码与变长码13.3 最优码13.4 纠错码13.5 线性误差纠错码——二进对称信道13.6 卷积编码器13.7 状态图与梯形图13.8 最大相似解码与Viterbi算法第十四章 信息率失真理论14.1 引言14.2 根据真实度准则的信源编码14.3 信息率失真函数及其特性14.4 信息率失真理论的基本定理14.5 逆定理习题第十五章 条形码15.1 引言15.2 通用生产码符号的特性与可解码性15.3 条形码的可靠性附录A 凸函数的最小化附录B K-L展开式附录C 2Toeplitz分布定理后记

章节摘录

插图：

后记

常迥老师曾多次为研究生讲授信息理论基础课程。他深深懂得信息理论基础对很多系的工科大学生与研究生来说起着多么重要的作用，很久以来，就希望在总结多年讲课经验的基础上，编写一本关于信息理论基础的书，以帮助更多的学生掌握这门学科的基本内容。但是，由于平时工作繁忙，这一愿望一直未能实现。直到1988年，他因息脑血栓而不能自由行走以后，这本书才得以动手编写。为了写好这本书，他在自编讲义的基础上，收集了国外最新的资料，一边翻译，一边编写。在两年多时间里，当我去他家时，常常可看到他挥汗工作的动人情景。常老师虽然是在病中，但在常师母的精心照料下，这项工作一直在紧张地进行，完成这本书的编写是他在病中的一大愿望，也是表达他对常师母的发自内心的感激。经过持续的努力，又得到清华大学出版弛蔡鸿程同志和王性仁同志的帮助，进行校对，誊写，终于在1991年中完成了这本书的初稿。当他正准备对初稿进行修改时，不幸因突发心脏病而去世。这本书成了他最后的一部著作。为了实现常老师出版这本书的遗愿．受常师母的委托，我于l991年10月开始对初稿进行校对、修改工作，以供出版。这本书稿的体系以及基本内容的取舍是常老师积多年经验而精心拟定的，书中的具体材料则有相当一部分取自几本近年出版的参考书，主要有：Principies and Practtce of Info-rmation Theory，Richard E．Blahut，Addison．Wesley Publishing Company，1987：Elementary Information Theory．D．S．Jones，Clarendon Press，Oxford，1979和信息论【日】，喜安善市，室贺三郎著，李文清译，上海科学技术出版社．1982等。我的工作，除了校对以外，对少数部分进行了一些增删，对个别部分则重新组织以使前后连贯和减少内容上的重复。

编辑推荐

《信息理论基础》由清华大学出版社出版。