跳至内容
数理方法
信息理论
判断题

判断题

【注】本表格由AI辅助生成。

题号内容解析
1随机事件的互信息可小于 0，随机变量的互信息也可小于 0。错误。随机变量的互信息恒非负。
2对于连续随机变量，其微分熵越大，说明不确定性越大。错误。微分熵反映的是相对不确定性，且可正可负。
3如果变量 X、Y、Z 构成马尔可夫链，即 X->Y->Z，则必有 \(I(X;Y) \geq I(X;Z)\)。正确。符合信息处理不增原理。
4对于任何二元贝努利信源，全零序列都不是一个典型列。错误。当 \(p(0)=1\) 时，全零序列是典型列。
5对一个离散无记忆信源进行 Shannon 编码，其平均码长必然大于该信源 Huffman 编码的平均码长。错误。在特定概率分布下两者可以相等。
6不存在码长为 {1,2,3,3} 的唯一可译码。错误。该码长分配满足 Kraft 不等式，因此存在。
7平稳信源的平均每符号熵 \(H_N(X)\) 随着 \(N\) 的增大单调递减。错误。应为单调不增。
8对一个信源进行 D 元 Huffman 编码，则出现概率最小的两个符号所对应的码长相等。错误。仅在 \(D=2\) 时必然成立；\(D\) 元 Huffman 编码是最后合并的 \(D\) 个符号码长相等。
9对于方差一定的连续随机变量，高斯变量的微分熵最大。正确。在给定方差约束下，高斯分布具有最大微分熵。
10典型列集合中元素的个数必然大于非典型列集合中元素的个数。错误。典型列集的元素个数远少于非典型列。
11自信息可以为负值。错误。自信息 \(I(x) = -\log p(x)\)，由于 \(0 < p(x) \leq 1\)，所以 \(I(x) \geq 0\)。
12熵是衡量随机事件不确定性的度量。错误。熵是衡量随机变量不确定性的度量，自信息才是衡量随机事件不确定性的度量。
13条件熵 \(H(X\|Y)\) 总是小于或等于 \(H(X)\)。正确。增加条件信息不会增加不确定性（信息不增原理）。
14互信息 \(I(X;Y)\) 可以为负值。错误。随机变量的互信息恒非负。
15相对熵 \(D(p\|q)\) 可以为负值。错误。根据吉布斯不等式，相对熵恒非负。
16连续随机变量的微分熵总是正数。错误。微分熵可正可负可为零。
17Kraft 不等式是判断一个码是否为唯一可译码的充分必要条件。错误。Kraft 不等式是唯一可译码存在的必要条件，但判断一个给定制码是否唯一可译还需要结合 S-P 判据。
18异字头码和即时可译码是完全等价的概念。正确。异字头码即前缀码，与即时可译码等价。
19对于离散无记忆信道，理想反馈可以增加信道容量。错误。理想反馈不能增加离散无记忆信道的容量，但可简化编码设计。
20信道容量 \(C = \max_{p(x)} H(X)\)。错误。信道容量是最大互信息，即 \(C = \max_{p(x)} I(X;Y)\)。
21在AWGN信道中，当输入信号服从均匀分布时，信道容量最大。错误。应为高斯分布。
22香农公式 \(C = W \log_2(1 + \frac{P}{N_0 W})\) 表明带宽和功率不能相互转换。错误。该公式表明带宽和功率可以相互补偿和转换。
23只要信息传输速率 \(R\) 小于信道容量 \(C\)，就可以实现无错误传输，且码长可以有限。错误。理论上需要码长趋于无穷大才能实现无错误（错误概率趋于 0）传输。
24典型列的概率之和趋近于1，但其数目远少于所有可能序列的总数。正确。这是渐近等同分割性质（AEP）的核心结论。
25马尔可夫信源的熵速率 \(H_\infty\) 总是小于或等于 \(H(X)\)。正确。随着记忆长度的增加，条件熵单调不增。
26事件的自信息不代表事件的不确定性。正确。自信息表示事件发生后提供的信息量（或消除的不确定性）。
27联合熵 \(H(X,Y)\) 总是等于 \(H(X) + H(Y\|X)\)。正确。符合联合熵的链式法则。
28香农熵 \(H_K(P)\) 是概率分布 \(P\) 的严格上凸函数。正确。即香农熵具有上凸性。
29Rényi 熵在 \(\alpha=0\) 时等于 \(\log K\)。正确。当 \(\alpha = 0\) 时，Rényi 熵等于哈特莱熵 \(\log K\)。
30平均互信息 \(I(X;Y)\) 总是对称的，即 \(I(X;Y) = I(Y;X)\)。正确。互信息具有对称性。
31如果 \(X\) 是 \(Y\) 的确定函数，则 \(I(X;Y) = H(X)\)。正确。因为此时条件熵 \(H(X\|Y) = 0\)。
32互信息 \(I(X;Y)\) 是输入分布 \(p(x)\) 的上凸函数。正确。在信道转移概率固定的情况下成立。
33互信息 \(I(X;Y)\) 是转移概率矩阵 \(p(y\|x)\) 的下凸函数。正确。在输入分布固定的情况下成立。
34微分熵 \(h(X)\) 具有线性不变性。错误。自变量进行线性变换（如 \(Y=aX\)）时，微分熵会产生 \(\log \lvert a \rvert\) 的偏移。
35在功率约束下，高斯噪声是最“坏”的干扰，因为它能最大限度地降低互信息。正确。高斯噪声具有最大的微分熵，对信道容量的削弱最明显。
36平行信道的信道容量等于各子信道容量之和。正确。独立平行信道的容量具有可加性。
37开关信道的容量 \(C = \log(2^{C_1} + 2^{C_2})\)。正确。符合开关信道容量的计算公式。
38级联信道的容量 \(C \leq \min\{C_1, C_2\}\)。正确。根据数据处理不等式，级联会造成信息流失。
39准对称离散无记忆信道容量的输入分布为均匀分布。正确。由对称性决定的最大熵定理推得。
40对于对称信道，信道容量 \(C = \log J + \sum_{j=0}^{J-1} p(j\|k) \log p(j\|k)\)。正确。其中 \(J\) 为输出符号数，第二项为信道转移矩阵任意一行的负熵。
41模 K 加法信道在噪声 \(Z\) 为等概分布时，信道容量为 0。正确。此时接收端接收到的符号完全随机，无法获取输入信息。
42香农信道编码定理指出，只要信息传输率 \(R\) 小于信道容量 \(C\)，就存在一种编码方法使信息无错误地可靠传输。正确。当编码码长趋于无穷时，可以实现无差错传输。
43信源信道联合编码定理表明，只要信源熵速率 \(H(\mathcal{V}) < C\)，就存在联合编码使得传输错误概率趋于 0。正确。这即是信源信道分离定理。
44奈奎斯特采样定理指出，带宽为 \(W\) 的信号可以由每秒 \(2W\) 个采样点完全表示。正确。前提是无带通限制下的基带信号。
45在AWGN信道中，当带宽 \(W \to \infty\) 时，容量趋于极限 \(C_{\infty} = \frac{P}{N_0} \log_2 e\)。正确。受限于信号功率与噪声功率谱密度。
46编码速率 \(R\) 越低，所需的每比特能量 \(\mathcal{E}_b/N_0\) 越高。错误。编码速率越低，所需的每比特能量越低。
47离散无记忆信源的编码效率越高，译码时间延迟越长。正确。通常高效编码（接近香农限）需要更长的分组长度，从而产生更大的延迟。
48唯一可译码必然满足 Kraft 不等式。正确。Kraft 不等式是唯一可译码存在的充要条件。
49Shannon-Fano-Elias 编码需要对概率进行排序。错误。它不需要像哈夫曼编码或费诺编码那样进行概率排序。
50马尔可夫链 \(X \to Y \to Z\) 中， \(I(Y;Z) \geq I(X;Z)\)。正确。符合数据处理（信息处理）不增原理。
51确定事件的自信息为无穷大。错误。确定事件（概率为 1）的自信息为 0。
52概率越大的事件，其自信息越大。错误。自信息与概率呈反比，概率越大的事件，自信息越小。
53条件自信息 \(I(x\|y)\) 总是非负的。错误。条件自信息在特定定义下有可能为负值。
54熵的非负性意味着 \(H(X) \geq 0\)。正确。离散随机变量的香农熵恒大于或等于 0。
55熵的可加性是指 \(H(X,Y) = H(X) + H(Y)\)。错误。仅在 \(X\) 与 \(Y\) 独立时成立，一般情况下为 \(H(X,Y) = H(X) + H(Y\|X)\)。
56香农熵的极值性表明，当信源符号等概率分布时，熵达到最大值 \(\log K\)。正确。此时系统具有最大的不确定性。
57凸函数 \(f(x)\) 上凸的充要条件是二阶导数 \(f''(x) \geq 0\)。错误。上凸（或称为凹函数）的充要条件应为二阶导数 \(f''(x) \leq 0\)。
58Jensen 不等式适用于上凸函数和下凸函数。正确。区别仅在于不等号的方向。
59加权熵在权重全为 1 时等价于香农熵。正确。符合加权熵的极限性质。
60Rényi 熵在 \(\alpha \to 1\) 时等价于香农熵。正确。利用洛必达法则求极限可证其等于香农熵。
61\(I(X;Y) \leq H(Y)\)，等号成立当且仅当 \(Y\) 是 \(X\) 的确定函数。错误。原解析指出应为 \(I(X;Y) \leq H(X)\)，等号成立当且仅当 \(X\) 是 \(Y\) 的确定函数。
62连续随机变量的不确定性一般都是无穷大。正确。连续变量取值无限，从离散逼近的角度来看其不确定性为无穷。
63微分熵 \(h(X)\) 可以为负数。正确。连续变量的微分熵可以取任意实数值。
64在方差一定的条件下，均匀分布的微分熵最大。错误。在方差受限下，高斯分布的微分熵最大；而在区间受限下，均匀分布微分熵最大。
65熵功率不等式表明 \(\bar{\sigma}_x^2 \leq \sigma^2\)。正确。连续变量的等效高斯方差小于或等于其实际方差。
66异字头码中，任何一个码字都不是其他码字的前缀。正确。这也是前缀码的定义。
67S-P 判据可以判断一个码是否为唯一可译码。正确。Sardinas-Patterson 算法是判断唯一可译码的系统性准则。
68Shannon 编码是前缀码。正确。通过累加概率的二进制截断可保证前缀性质。
69Fano 编码每次将消息集划分为两部分，使概率和之差尽可能大。错误。划分时应使两部分的概率和之差尽可能小。
70S-F-E 编码的码长公式为 \(l(x) = \lceil \log \frac{1}{p(x)} \rceil\)。错误。应为 \(l(x) = \lceil \log \frac{1}{p(x)} \rceil + 1\)。
71离散无记忆信道中，输出 \(y_n\) 只取决于当前时刻的输入 \(x_n\)。正确。这是无记忆性的数学定义。
72信道容量是平均每次利用信道，在输入 and 输出符号之间所能相互提供的互信息的最大值的极限。正确。符合香农对信道容量的物理与数学定义。
73无噪信道的信道容量等于 \(\log M\)，其中 \(M\) 是输入符号的种类数。正确。在无噪无损情况下，传输效率达到最大。
74确定信道的信道容量等于 \(\log m\)，其中 \(m\) 是输出符号的种类数。正确。输出能完美对应到输入的无损信道性质。
75无用信道的信道容量为 0。正确。当输入与输出完全独立时，互信息为 0。
76二元对称信道 (BSC) 的信道容量为 \(1 - H(p)\)，其中 \(p\) 是翻转概率。正确。其容量受噪扰影响而降低了 \(H(p)\)。
77二元除删信道 (BEC) 的信道容量为 \(1 - p\)，其中 \(p\) 是擦除概率。正确。擦除意味着有 \(p\) 的信息完全丢失。
78凸优化问题中的 KKT 条件包括梯度平衡、原始可行性、对偶可行性和互补松弛性。正确。这是非线性凸规划的最优性充要条件。
79达到 DMS 信道容量的充要条件是所有使用的输入符号的 \(I(X=k;Y)\) 值相等。正确。这是达到最大互信息的边界平衡条件。
80若信道关于输入对称，则达到信道容量的输入分布为均匀分布。错误。仅在准对称或对称信道下才能断定均匀分布是最优输入分布。
81香农公式表明，在带宽一定的情况下，增加功率可以无限提高信道容量。错误。容量与功率呈现对数增长关系，收益会产生饱和效应（边际效应递减）。
82每比特平均能量 \(\mathcal{E}_b/N_0\) 随频带效率 \(\eta\) 减小而减小。正确。牺牲频带利用率可以换取功率效率。
83理想反馈可以增加有记忆信道的容量。正确。对于有记忆信道，反馈可以通过建立时序相关性来提升系统容量。
84数据处理不等式表明，信息在处理过程中可以增加。错误。信息在处理（操作）中只会保持或丢失，不会无中生有。
85典型列的个数随着序列长度 \(L\) 的增加呈指数增长，指数为 \(H(U)\)。正确。数量级在 \(2^{LH(U)}\)。
86联合典型列集合的概率趋近于 1。正确。随着序列长度增加，实际产生的序列对大概率落入其中。
87随机选择的两个独立序列落入联合典型集的概率约为 \(2^{-nI(X;Y)}\)。正确。这构成了信道编码定理可达性证明的数学基础。
88只要信源熵速率 \(H(\mathcal{V}) > C\)，就不可能以任意小的错误概率传送信源。正确。这是香农逆定理的表述。
89在传感器网络等能量受限场景，降低速率是节省能量的关键。正确。符合牺牲速度换取能量效率的物理法则。
9016QAM 调制方式的功率效率通常优于 QPSK。错误。16QAM 频带效率高，但功率效率不如 QPSK（抗噪能力弱）。
91韦恩图可以可靠地表示三元以上复杂交互的互信息大小关系。错误。当存在多变量交互时，互信息可以为负，韦恩图无法直观可靠地承载这种负面积关系。
92熵的可扩展性是指当增加一个概率为零的符号时，熵值不变。正确。数学上，由于 \(0\log 0 = 0\)，新项对总求和无贡献。
93熵的确定性是指当信源输出确定时，熵为零。正确。完全没有不确定性时，熵为 0。
94联合自信息 \(I(x,y)\) 总是非负的。正确。因为联合概率 \(0 \le p(x,y) \le 1\)。
95条件熵 \(H(X\|Y)\) 总是小于或等于 \(H(Y)\)。错误。应为 \(H(X\|Y) \leq H(X)\)。条件熵与 \(H(Y)\) 的大小无必然联系。
96马尔可夫信源的熵速率 \(H_\infty\) 等于 \(H(X\|S)\)，其中 \(S\) 是信源的状态。正确。达到平稳分布后，熵率可以用一步状态条件熵表示。
97Shannon 编码的平均码长 \(\bar{n}\) 满足 \(H(U) \leq \bar{n} < H(U) + 1\)。正确。这是香农无失真信源编码定理的基本边界。
98Fano 编码的平均码长 \(\bar{n}\) 满足 \(\bar{n} \leq H(U) + 1 - 2p_n\)，其中 \(p_n\) 为最小符号概率。正确。属于费诺编码的效率界。
99S-F-E 编码是前缀码。正确。通过概率累加区间的精细划分实现了前缀性质。
100离散无记忆信道中，当输入为独立随机序列时，互信息 \(I(X^N;Y^N) = \sum_{n=1}^N I(X_n;Y_n)\)。正确。由信道的无记忆性性质决定。
101离散无记忆信道中，当输入独立分布时，输出也独立分布。正确。由于信道转移矩阵的乘积特性而保持独立性。
102无损信道是无噪信道的一种特殊情况。错误。无损信道指无信息丢失，但输出可能有噪声；无噪信道是指完全没有噪声污染。两者不能等同。
103模 K 加法信道是一个对称信道。正确。转移概率矩阵每一行、每一列都呈现置换特性。
104可逆转移矩阵信道的容量可以通过求解线性方程组得到。正确。可以直接对互信息求导利用极值关系建立方程组求解。
105编码器将每个消息映射为一个码字，码字的集合称为码书。正确。这是编码理论的通用术语。
106最大错误概率是指所有消息中错误概率的最大值。正确。与平均错误概率相对，是最严苛的性能指标。
107香农信道编码定理的逆定理表明，如果传输速率 \(R > C\)，则错误概率 \(P_e^{(n)}\) 必然大于 0。正确。保证了信道容量作为可靠通信极限速度的绝对地位。
108香农公式中的 \(P\) 代表信道噪声功率。错误。\(P\) 代表输入信号的平均功率，噪声功率为 \(N_0 W\)。
109在宽带系统中，通过扩频可以实现在极低信噪比下的可靠通信。正确。利用了增加带宽来换取功率/信噪比降低的原理。
110慢即是省的原则适用于传感器网络等能量受限场景。正确。低速发送通常能利用更低的信噪比要求，达到更低的功耗。
111LDPC 码等先进技术已能将性能推至距离香农限非常接近的水平。正确。现代纠错码（如 LDPC 码、Turbo 码）可逼近香农限。
112韦恩图证明信息论不等式时，只有当所有原子区域代表的面积均非负时才是可靠的。正确。若存在负面积（例如多元互信息），韦恩图的面积直观关系就会失效。
113联合熵 \(H(X,Y)\) 总是大于或等于 \(H(X)\)。正确。因为 \(H(X,Y) = H(X) + H(Y\|X)\)，且条件熵非负。
114条件熵 \(H(X\|Y)\) 总是大于或等于 0。正确。对离散变量，不确定度最小为 0。
115相对熵 \(D(p\|q)\) 总是大于或等于 0。正确。根据信息不等式成立。
116互信息 \(I(X;Y)\) 总是小于或等于 \(H(X)\)。正确。因为获取的信息量不可能超过源变量本身的不确定度。
117互信息 \(I(X;Y)\) 总是小于或等于 \(H(Y)\)。正确。对称性质。
118互信息 \(I(X;Y)\) 总是小于或等于 \(\min(H(X), H(Y))\)。正确。由 116、117 共同决定。
119离散无记忆信源的编码速率越长，编码效率越高。正确。此处应理解为序列长度越长，冗余度分摊得越低。
120典型列的概率 \(p(\mathbf{u}^L)\) 约等于 \(2^{-LH(U)}\)。正确。根据 AEP 定理，所有的典型序列几乎具有等概特性。
121典型列集合 \(A_\epsilon^{(L)}(U)\) 的大小 $A_\epsilon^{(L)}(U)
122离散无记忆信道的信道容量 \(C = \max_{p(x)} \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}\)。正确。双重累加项即为互信息的数学定义。
123离散无记忆信道的信道容量 \(C = \max_{p(x)} (H(Y) - H(Y\|X))\)。正确。这是互信息以系统接收端不确定度减少量来表达的形式。
124离散无记忆信道的信道容量 \(C = \max_{p(x)} (H(X) - H(X\|Y))\)。正确。这是互信息以发送端不确定度减少量来表达的形式。
125离散无记忆信道的信道容量 \(C = \max_{p(x)} (H(X) + H(Y) - H(X,Y))\)。正确。这是互信息通过联合熵表达的第三种常见定义形式。
126对于任意的信道，信道容量的定义是平均每次利用信道，在输入和输出符号之间所能相互提供的互信息的最大值的极限。正确。此为广义上香农对信道容量的规范定义。
127熵速率 \(H_\infty(X)\) 总是小于或等于 \(\log K\)。正确。不能超过信源单字母等概时的最大可能熵。
128信源的冗余度 \(R = 1 - \eta\)，其中 \(\eta\) 是熵的相对率。正确。这是衡量信源压缩空间的常见指标。
129马尔可夫信源的状态空间是无限的。错误。在经典信源编码理论中，一般讨论有限状态空间的马尔可夫信源。
130时齐马尔可夫信源的状态转移概率与时间无关。正确。状态转移矩阵在任何时刻均保持一致。
131既约马尔可夫信源可以从任一状态到达任一其他状态。正确。即满足连通性（不可约性 irreducible）。
132离散无记忆信道的转移概率矩阵中，每一行都是第一行的一个置换，则该信道关于输入对称。正确。转移概率的一行是由前一行重排而来。
133离散无记忆信道的转移概率矩阵中，每一列都是第一列的一个置换，则该信道关于输出对称。正确。满足对称信道的列置换条件。
134如果一个信道既关于输入对称又关于输出对称，则称该信道为对称信道。正确。这是强对称离散信道的标准定义。
135准对称信道容量定理表明，达到准对称离散无记忆信道容量的输入分布为均匀分布。正确。由于结构上的对称性质使得均匀输入最能均匀分散符号负载。
136对于只关于输入对称的信道，其容量 \(C \leq \log J + \sum_{j=0}^{J-1} p(j\|k) \log p(j\|k)\)。正确。上限取决于最大可能的输出熵与转移矩阵行熵之差。
137在AWGN信道中，为了最大化互信息，输入信号 \(X\) 应服从高斯分布。正确。由方差约束下高斯分布具有最大熵可证。
138注水法则描述了在平行高斯信道中如何分配功率以最大化容量。正确。优先在噪声较小的子信道上分配功率。
139奈奎斯特采样定理表明，一个带宽为 \(W\) 的信号，其采样频率必须大于 \(W\) 才能完全恢复。错误。采样率（非带通信号）必须大于或等于二倍带宽，即必须大于或等于 \(2W\)。
140香农公式中的 \(\frac{\mathcal{E}_b}{N_0}\) 随频带效率 \(\eta\) 增大而增大。正确。随着传输效率的提升，抗噪所需的比特能量要求随之上升。
141香农公式表明，当带宽趋于无穷大时，信道容量可以无限大。错误。当带宽趋于无穷大时，信道容量会收敛于一个有限值 \(C_\infty = \frac{P}{N_0} \log_2 e\)。
142香农限的逼近在实际系统中需要无限码长和理想高斯输入。正确。这构成了实际编码逼近性能的一对工程瓶颈。
143Fano 不等式用于信道编码定理的逆定理证明。正确。建立了接收端的平均译码错误概率与漏失信息量（条件熵）之间的不等关系。
144联合典型列的定义中，序列对 \((x^n, y^n)\) 的每一个符号对 \((x_i, y_i)\) 均是按照联合分布 \(p(x,y)\) 独立选取。正确。这是联合典型序列的概率构造基础。
145联合典型列集合的大小 $A_\epsilon^{(n)}
146译码错误可以分解为译码器找不到正确答案或接收到的 \(y^n\) 与错误码字联合典型两种情况。正确。符合联合典型译码器的两类经典错误分析方法。
147理想反馈不能增加离散无记忆信道的容量，但可以显著简化编码器的设计复杂度。正确。反馈可以动态协助调整后续的传输策略。
148信源信道联合编码定理表明，当 \(H(\mathcal{V}) < C\) 时，可以通过分别构造最优的信源编码和信道编码来实现无错误传输。正确。证明了通信系统中信源压缩与信道传输可以解耦设计（分离定理）。
149典型列编码可以降低信源编码速率，从而降低对信道容量的要求。正确。通过仅对高概率的典型集合进行编码可以显著提升压缩率。
150韦恩图在信息论中，对于三元以上的复杂交互，由于互信息可以为负等原因，用韦恩图得出的结论很可能是不可信的。正确。韦恩图的交集面积仅能对应非负测度，而多元交互信息可能为负，故用韦恩图推导多变量不等式会有失偏颇。
Lec-10 信息的传输 4