辛港涛/XIN Gangtao，樊平毅/FAN Pingyi
（清华大学，中国 北京 100084）
近年来，随着规模化无线通信的快速发展与智能处理需求的快速增多，各种基于无线通信技术的新兴智能业务得到迅速发展，这给通信技术带来了新的挑战。一方面，这些新兴业务（如工业互联网、虚拟/增强/混合现实、元宇宙、全息通信）的成功高度依赖于在海量数据集上对大型学习模型的训练。此类应用承载的大量流量可能会使现存的网络容量趋于饱和。因此，通信基础设施需要融入智能，确保在必要的时间，以合理的速率，传输所需的流量。另一方面，这些新兴业务需要极低的端到端时延，因此通信技术需要考虑流量的相关性和紧迫性，以最快、最可靠的方式提取和交付与任务相关的信息。这将导致通信网络架构从单纯追求高速率传输向追求智能化过渡[1]。
语义通信是一种全新的通信架构，它将用户对信息的需求及任务语义融入通信过程，有望大幅度提高通信实施效率，提升用户的体验，并从根本上解决基于数据的传统通信协议中存在的跨系统、跨协议、跨网络等技术难题[2]。C. E.SHANNON 和W. WEAVER 在1949 年发表的论文中提出了广义通信的3个层次的问题[3]，分别为：
1）技术层：传输的符号是否准确？
2）语义层：传输的符号是否准确表达了任务预期含义？
3）有效层：接收的信息含义能否按照预期方式影响用户的行为？
从技术层到语义层，通信的目标从符号的准确传输转变为语义的有效交换。经典的香农信息论建立在概率与统计的基础上，忽略了具体任务的语义表示方式，从技术层解决了两个基本问题：临界数据压缩的值和临界通信传输速率的值。语义通信的数学理论和语义的数学表征可以归结为语义信息论的问题。尽管目前语义信息论没有公认且统一的理论框架，但近些年来，学术界和工业界对语义信息论的研究越来越多。2021 年，华为公司提出的后香农时代信息通信技术（ICT）领域的十大挑战问题[4]，将语义信息论列为基础理论的首要问题。本文中，我们关注语义信息论的核心概念，介绍语义熵、语义率失真和语义信道容量方面的进展。
语义信息的度量问题是语义信息理论的基础。熵是对随机变量不确定性的度量，语义熵是对语义不确定度或信息量大小的度量。到目前为止，对语义熵直观且通用的数学描述仍然是一个具有挑战性的难题：一方面语义基本内涵不易定义从而难以度量；
另一方面人们对语义的产生机理和过程并不明确[5-7]。
1）语义熵起源于前香农时代，与自然语言的分析相关[8]。针对语言任务，1952 年，R. CARNAP 和Y. BARHILLEL[9]提出了语义熵的概念，用逻辑概率来衡量一个句子所包含的语义信息量，即：
其中，m(e)是指事件e在所有可能情况下为真的概率，也就是事件e的逻辑概率。可以看出，一个句子为真的逻辑概率越大，包含的信息量就越小。但是，这产生了一个悖论，即任何事实与其自身矛盾时会具有无穷大的信息量，如Hs(e ∧¬e)（表示“事件e与事件非e”发生的概率）为无穷大。2004年，L. FLORIDI[10]提出强语义信息理论，用与真实事件之间的距离来表示语义信息量的大小，解决了这一悖论。2011 年，S. D"AFLONSO[11]基于真理相似性对语义信息进行了定量描述。L. FLORID和S. D"AFLONSO的方法衡量的是某一事件相对于参考事件的信息，信息值总是在0～1。然而，这些度量都依赖于参考事件的存在。从本质上讲，他们的工作提供了两个句子之间语义相似度的度量，而不是语义不确定性或信息量大小的测量。2011 年，遵循R.CARNAP 的定义，J. BAO、P. BASU 等[12]采用命题逻辑拓展了m(e)的表示，进一步拓展了语言任务中语义熵的含义。
2）针对智能任务，I. D. MELAMED[13]提出了一种测量文本中单词的语义熵的方法。具体而言，对于一个词w，语义熵可以被表示为：
其中，H(T|w)代表了翻译不一致性，表示一个词被翻译成不同的方式所带来的不确定性，T表示目标词的集合，N(w)表示w的空链接的贡献，表示从一种语言翻译到另一种语言时遇到困难的可能性，F(w)是w 的频率。对于分类任务，LIU X. D.、JIA W. J. 等[14]引入匹配度和隶属度的概念来定义语义熵。隶属度是模糊集理论中的一个难以解析的概念，一般是根据经验来给定。定义ς 为语义概念，μς(x)为每个x ∈X的隶属度。对于某个类别Cj，匹配度Dj(ς)定义为：
对于类别Cj，其语义熵定义为HS(ς)=−Dj(ς)log Dj(ς)。将X 中所有类的语义熵相加，可以得到集合X 上的整体语义熵。
A. CHATTOPADHYAY 等[15]提出一种量化任务相关的语义熵，他们将语义熵定义为关于数据X的语义查询的最小数量，其答案足以预测任务V，可以表示为：
3）语义是对信号的理解，知识在语义的产生过程中充当了语义编码和表示的角色，发挥了重要作用。J. CHOI等[16]基于逻辑概率，从知识库的角度研究一个句子的语义熵。具体而言，记知识库为K，用p[K⊢q]表示句子q相对于知识库K正确的概率，简化为pq= p[K⊢q]，则q相对于K的语义熵为：
众所周知，扩展模式可以把简单的事物组合成复杂的系统，甚至产生智能。在人类的语言系统中，主谓宾、定状补的成分组成了句子，可以表达出单个单词所不可能具有的含义。受此启发，XIN G. T.和FAN P. Y.[17]认为智能语义应当是可以扩展的，语义熵的表示形式要体现知识扩展的理念。在语义的扩展中，知识层面发生了碰撞。语义正是在知识碰撞作用下，与信号作用的产物。例如，Apple Inc.属于商业公司类别，thirteen 属于数字类别，但是它们的碰撞可能会产生一个单词——iPhone，属于移动通信产品类别。用X1和X2表示信号，和表示两个知识实例，则语义熵可以表示为，其中⊕表示扩展，⊙表示碰撞。
4）不同于逻辑概率或统计概率模型，针对不同任务和背景，语义熵的推导形式也各不相同。A. KOLCHINSKY 与D. H. WOLPERT[18]将语义信息定义为描述系统与其所处环境之间关系的语法信息。M. KOUNTOURIS 和N. PAPPAS[19]使用Rényi熵对语义信息进行度量。N. J. VENHUIZEN 等[20]基于背景知识的语言理解模型推导出语义熵。C. LU[21]引入广义信息论，基于贝叶斯公式、逻辑概率和模糊集合等理论对语义信息进行数学度量描述。
在香农信息论中，率失真理论解决了失真情况下的编码问题。若信源为X～p(x)，编码后的表示为，率失真度量为，则率失真函数为：
如果R > R(D)，则存在编码方法使得平均失真趋向于D。如果R < R(D)，则这样的码序列不存在。
在语义通信中，在语义层面进行信息提取与编码表示，有助于进一步压缩语义信息的冗余，提取最重要的语义特征，从而提高语义传输的有效性。J. LIU 等[22]将语义率失真定义为：
其中，X1、X2分别是两个用户的语义表示，Y 是边信息。2022 年，P. A. STAVROU 和M. KOUNTOURIS[24]进一步研究了在汉明失真度量下的特征。
语义率失真理论直接对应编码技术，有效的语义编码工作具有高复杂性和挑战性。目前，用双失真度量的方式来表示语义编码是较普遍的做法。Y. SHAO等[25]用语义失真LU和语义成本DU来定义语义编码的可达区域。语义失真反映了接收方和发送方在语义理解上的差异，语义成本则代表了信息的简洁性或可理解性，它可以是相应比特序列的长度。语义成本定义可表述为：若存在一个语义编码方案U使得DU=D，LU= L，则称失真-成本区域(L,D) 是可达的。P.AGHELI[26]等对多用户的语义编码进行了研究，发送端向具有两个不同目标的接收端传输语义，用户根据最大化两个接收端的语义感知效用函数的加权和，分配所选数据包到达的最佳实际码字长度。Y. XIAO 等[27]提出了策略语义通信的率失真理论。该将博弈论模型与率失真理论相结合，以表征语义编码器和解码器之间的信息交互对通信失真性能的影响。
信道容量是信息论的中心问题，也是信息论中最著名的成果。对于一个输入为X、输出为Y的离散无记忆信道，信道容量被定义为：
信道容量指出了在传输信息时可达速率的上界。所有小于信道容量C的码率都可在无差错条件下可达，而所有大于信道容量的码率是不可无差错达到的。也就是说，对任意的码率R < C，存在误差概率趋于0 的一个(2nR,n)码序列；
反之，如果码率R > C，那么误差概率将远离0。
语义信道容量的相关研究工作较少。T. OKAMOTO[28]认为语义信道容量可以表示为通过语义信道传输的语义信息的最大速率或者最大语义通信量与通信数据大小的比率。一方面，在该速率下，可以通过语义信道发送语义信息，并在语义信道的输出端恢复信息；
另一方面，在信道上的语义数据信息传输速率不可能超过信道的语义容量。
2011，J. BAO等[12]对语义信道容量做出如下定义：
对任意ϵ > 0 和R < Cs，存在一种编码策略，使得语义错误的最大概率小于ϵ。其中，X是信源，V是传输任务，Z是语义表示，I(X; V)是信源X和传输任务V之间的互信息，H(Z|X)表示编码的语义不确定度，是任务V的接收消息的平均逻辑信息。
语义信道容量可以高于或低于香农信道容量I(X:V)，这取决于语义编码策略和接收机解释所收到消息的能力。若，则意味着接收者可以处理语义歧义，接收者可以用收到的语句回答问题，语义压缩可以实现更高的传输速率。在这种情况下，CS高于香农容量。若H(Z|X)< 0，接收者不能解决原本存在的语义歧义，接收者无法根据收到的语句回答问题，CS低于香农容量。
如果说目前语义通信处于幼儿期，那么语义信息论则处于婴儿期，仍然有大量开放性问题尚未解决，例如：
1）语义、语义熵、语义编码器是否存在通用的数学表示形式？还是可以分类表示？
2）语义通信的基本性能极限是什么？由于语义通信旨在让传输的符号精确地传达内容含义，因此语义通信的基本性能极限难以用一个具体的容量值描述，应由技术层和语义层所共同决定，其形式应体现多维特点。涉及的极限问题包括但不限于网络容量、最优编码、数据传输速率对语义传输速率的影响等，可能还需要兼顾物理层通信速率与语义解码器表达能力之间的均衡特征。
3）基于深度学习的语义通信系统的理论框架应如何发展？目前深度学习被广泛用于信源信道联合编码和面向任务的通信结构设计，在智能处理服务中逐渐显现其重要性。探索基于深度学习的语义通信的理论框架并给出理论指导，包括其合适的性能指标与语义相似度度量等是非常必要的。
语义通信作为一种新的通信结构，改变了传统的数据传输范式，有望为大型智能处理服务带来新气象。然而，目前的语义通信研究刚刚起步，有大量的工作值得进一步研究，如知识共享框架、资源调度与分配、语义噪声建模与度量等。本文从语义通信的理论角度出发，依次回顾了语义熵、语义率失真和语义信道容量等相关概念，梳理了语义信息论的相关发展，同时对未来语义信息论存在的开放性问题进行了简单讨论。希望这些问题能引起专家学者的关注，助力他们为语义信息论的发展做出更多的贡献。
猜你喜欢信息论香农信道容量大卫，不可以雪豆月读·低年级(2021年7期)2021-08-27MIMO无线通信系统容量研究山东理工大学学报（自然科学版）(2021年6期)2021-07-02基于超像素和信息论的SAR图像目标检测研究成都信息工程大学学报(2017年5期)2018-01-23校园恩仇录：小混混和易拉罐女王的故事新东方英语·中学版(2017年4期)2017-05-04三维空间中近距离多天线信道的容量分析重庆邮电大学学报(自然科学版)(2016年6期)2017-01-03一种基于切换失败概率和认知用户信道容量联合优化的访问策略电信科学(2016年9期)2016-06-15安全通论(11)——《信息论》、《博弈论》与《安全通论》的融合:刷新您的通信观念成都信息工程大学学报(2016年6期)2016-06-01基于香农熵的超细粉体填料混合均匀度的评价研究中国塑料(2015年9期)2015-10-14微生物二元网络作用关系研究现代电子技术(2015年11期)2015-07-28基于目协调函数的信道容量和最大熵的计算应用数学与计算数学学报(2014年3期)2014-09-26本文来源：http://www.triumph-cn.com/fanwendaquan/gongwenfanwen/2023/0924/108789.html