信息论基础与应用

第1章 绪论

1.1 信息的基本概念

1.1.1 信息的定义

1.1.2 信息的特征

1.1.3 信息、消息和信号的关系

1.2 信息论研究的内容

1.2.1 通信系统模型

1.2.2 信息论研究的内容

1.3 信息论的建立、发展与应用

习题一

第2章 离散信源

2.1 信源的数学模型及分类

2.1.1 随机变量描述信源输出的消息

2.1.2 随机序列描述信源输出的消息

2.1.3 随机过程描述信源输出的消息

2.2 离散信源的信息熵

2.2.1 自信息

2.2.2 信息熵

2.2.3 信息熵的基本性质

2.3 信息熵的唯一性定理

2.4 离散无记忆的扩展信源

2.5 离散平稳信源

2.5.1 离散平稳信源的数学定义

2.5.2 二维平稳信源及其信息熵

2.5.3 离散平稳信源的极限熵

2.6 马尔可夫信源

2.6.1 马尔可夫信源的定义

2.6.2 m阶马尔可夫信源

2.6.3 马尔可夫信源的信息熵

2.7 信源冗余度与自然语言的熵

2.7.1 信源冗余度的定义

2.7.2 冗余的利用

2.8 离散信源的MATLAB实现

2.8.1 离散信源的相关原理

2.8.2 MATLAB实验内容

本章小结

习题二

第3章 离散信道

3.1 信道的基本概念

3.1.1 信道的分类

3.1.2 离散信道的数学模型

3.1.3 单符号离散信道

3.2 平均互信息

3.2.1 信道疑义度

3.2.2 平均互信息

3.2.3 平均条件互信息

3.2.4 平均互信息的特性

3.3 信道容量的计算方法

3.3.1 离散无噪信道的信道容量

3.3.2 对称离散信道的信道容量

3.3.3 一般离散信道的信道容量

3.4 离散无记忆扩展信道及其信道容量

3.5 串联信道的互信息和数据处理定理

3.6 信源与信道匹配

3.7 信道容量的MATLAB实现

3.7.1 信道容量的相关原理

3.7.2 MATLAB实验内容

本章小结

习题三

第4章 连续信源和连续信道

4.1 连续信源的熵及其特性

4.1.1 连续信源熵的定义

4.1.2 连续信源熵的特性

4.2 几种连续信源的熵

4.3 连续信源的最大熵

4.4 熵功率

4.5 连续熵的变换

4.6 连续信道及其信道容量

4.6.1 连续信道的分类

4.6.2 连续信道的平均互信息

4.6.3 连续信道平均互信息的特性

4.6.4 连续信道的信道容量

4.6.5 连续信道编码定理

本章小结

习题四

第5章 无失真信源编码

5.1 信源编码的基本概念

5.1.1 信源编码器

5.1.2 信源编码的分类

5.1.3 唯一可译变长码与即时码

5.2 信源编码定理

5.2.1 渐近等分割性和t典型序列

5.2.2 等长信源编码定理

5.2.3 变长信源编码定理

5.3 信源编码方法

5.3.1 香农编码

5.3.2 霍夫曼码

5.3.3 费诺码

5.3.4 香农一费诺一埃利斯码

5.4 几种实用的无失真信源编码方法

5.4.1 游程编码和MH编码

5.4.2 算术编码

5.4.3 LZ编码

5.5 无失真信源编码的MATLAB实现

5.5.1 无失真信源编码相关原理

5.5.2 MATLAB实验内容

本章小结

习题五

第6章 有噪信道编码

6.1 信道编码的概念

6.1.1 译码规则

6.1.2 编码方法

6.2 香农第二定理

6.2.1 有噪信道编码定理

6.2.2 有噪信道编码逆定理

6.2.3 信源信道编码定理

6.3 差错控制概述

6.3.1 二元对称信道和错误格式

6.3.2 差错控制分类

6.3.3 常用差错控制码

6.4 信道编码方法

6.4.1 线性分组码

6.4.2 汉明码

6.4.3 循环码

6.4.4 卷积码

6.5 MATLAB实现循环码编码

本章小结

习题六

第7章 限失真信源编码

7.1 失真测度与失真矩阵

7.1.1 失真函数

7.1.2 失真矩阵

7.1.3 平均失真度

7.2 信息率失真函数

7.2.1 D失真许可信道

7.2.2 信息率失真函数的定义

7.2.3 信息率失真函数的性质

7.3 信息率失真函数的计算

7.4 限失真信源编码定理

7.4.1 信源编码定理

7.4.2 信源编码逆定理

7.4.3 联合信源信道编码定理

7.4.4 限失真信源编码定理的应用

7.5 限失真信源编码

7.5.1 预测编码

7.5.2 变换编码

7.6 信源编码的应用

7.6.1 语音信息编码

7.6.2 图像信息编码

7.6.3 视频信息编码

7.7 MATLAB实现率失真函数曲线

7.7.1 实验原理

7.7.2 实验内容

本章小结

习题七

第8章 信息理论的应用与发展

8.1 信息理论的应用

8.2 信息论与其他学科的交叉发展

8.2.1 密码学的应用

8.2.2 金融工程中的信息论问题

8.2.3 信息论在决策树中的应用

8.2.4 人工智能

8.2.5 生命科学

8.2.6 统计学

8.2.7 网络信息论

附录

实验一 离散信源的信息熵

一、实验设备

二、实验目的

三、实验原理

四、实验内容及要求

实验二 离散信道

一、实验目的

二、实验原理

三、实验内容及要求

实验三 离散信源编码

一、实验目的

二、实验原理

三、实验内容及要求

实验四 信道编码

一、实验目的

二、实验原理

三、实验内容及要求

习题一 参考答案

习题二 参考答案

习题三 参考答案

习题四 参考答案

习题五 参考答案

习题六 参考答案

习题七 参考答案

上机作业参考答案

实验一 离散信源的信息熵

实验二 离散信道

实验三 离散信源编码

实验四 信道编码

参考文献

《信息论基础与应用/普通高等教育“十二五”规划教材》系统地讲述了信息论与编码的基本理论，共8章，内容包括：香农信息论的基本概念，各种离散信源、连续信源及其信息测度，离散信道、连续信道及其信道容量的计算，无失真信源编码定理、限失真信源编码定理及其常用的信源编码方法，有噪信道编码定理及其编码方法，信息论相关学科的应用与发展。在离散信源的信息熵、离散信道、离散信源编码以及信道编码章节后面都提供了相应内容的MAT LAB仿真源程序，供教学使用。每章内容都力求内容精练、易读，强调掌握信息论与编码的基本理论与方法以及在通信系统中的应用。
　　《信息论基础与应用/普通高等教育“十二五”规划教材》可作为高等院校通信与信息类及相关专业本科生或低年级研究生学习的教材或教学参考书，也可供从事相关专业的科研和工程技术人员参考。