基于矢量量化编码的数据压缩算法的研究与实现

文章摘要：（2.5）2. 理论基础矢量量化的理论基础是香农的率失真理论。1948年，香农定义了信道容量，并证明只要编码速率不超过信道容量，符号就能以任意小的差错概率在该信道中传输。1959年，香农定义了率失真函数R(D)，并证明只要R(D)不超过信道容量就能保证接收端的失真不超过给定阈值D。在数学上，R (D)定义为在给定失真D的条件下，系统所能够达到的最小码速率。对于幅值离散的信源， R(D)定义如下公式（2.6）所示:（2.6）其中， ，平均失真满足公式2.7：（2.7）式中d(X,Y)是失真测度，它表示输出采样值Y再现原始采样值X所引入的失真， P(Y/X)表示在己发送X的情况下接收到Y的概率。R

基于矢量量化编码的数据压缩算法的研究与实现,标签：单片机开发,单片机原理,单片机教程,http://www.88dzw.com
（2.5）
2. 理论基础
矢量量化的理论基础是香农的率失真理论。1948年，香农定义了信道容量，并证明只要编码速率不超过信道容量，符号就能以任意小的差错概率在该信道中传输。1959年，香农定义了率失真函数R(D)，并证明只要R(D)不超过信道容量就能保证接收端的失真不超过给定阈值D。在数学上，R (D)定义为在给定失真D的条件下，系统所能够达到的最小码速率。对于幅值离散的信源， R(D)定义如下公式（2.6）所示:
（2.6）
其中， ，平均失真满足公式2.7：
（2.7）
式中d(X,Y)是失真测度，它表示输出采样值Y再现原始采样值X所引入的失真， P(Y/X)表示在己发送X的情况下接收到Y的概率。R(D)的单位为比特/采样。同样，也可以定义失真率函数D(R)，它是率失真函数的逆函数，其含义为在定速率不超过R的条件下，系统所能够达到的最小失真，它是在维数k趋向无穷大时Dk(R)的极限，即 。
香农理论表明在速率受限的条件下或在平均失真受限的情况下，通信系统所能达到的最优性能。率失真函数通常又被作为理论最优值，如果一个系统的性能低于理论最优值，则一定可用更好的编码技术获得系统性能的改善；如果一个系统的性能接近理论最优值，则此系统已接近最优，无法再做太多改善；一个系统的性能不可能优于理论最优值。由香农理沦可知，理论上，矢量量化技术只要不断的增加矢量的维数k，编码的性能就可任意接近率失真函数，使系统性能达到最优。因此，香农的率失真理论指出了矢量量化技术的优越性，是矢量量化技术的理论基础。
2．3 矢量量化的相关概念
2．3．1 数学模型
设有一个信源采样数据序列，我们把每K个数据分成一组，每组数据都记录成矢量形式 (i =1,2 ,…,N )，称x为输入矢量。设 为一个K维输入矢量的集合。
再把T划分成M( <N)个子空间 ，即各子空间满足公式(2.8)：
(2.8)
通常，我们把这M个子空间称为Voronoi胞腔(Cells)，或者简称胞腔，有时也把它称为一个分类或分区。在每个胞腔R，中我们再找到一个代表元Yi,我们称所有这些代表元组成的集合C=( )为码书(Codebook)。这些代表元也称为码字(Codeword)集合1= (1,2,…, M}称为码字的索引集合。一个矢量量化器包括编码器和解码器两部分。编码器主要包括一个码书和一个量化器。
量化器Q(X)定义如式(2.9)：
Q: T C；
当X 时，Q (X)= Yi (i=1 ,2,…,M). (2.9)
其中，Q(X)是一个多对一的函数，因此它是不可逆的。解码器主要包括一个与编码器相同的码书和一个码字检索器 (i)。
码字检索器 (i)定义如式（2.10）：
: I C；
(i) = Yi，i=1,2,…,M. (2.10)
矢量量化的模型如下图2.2所示：
编码时：对任意一个输入的K维矢量X，计算Q(X)的值Yi，通过传输信道发送码字Yi的索引i到解码器端。
解码时：对输入的一个索引号i，查找码书中对应的码字Yi，输出Yi作为整个系统对矢量X的压缩恢复值。
图2.2矢量量化器结构示意图
2．3．2 量化器Q(x)相关问题
我们可以看出矢量量化可以等价于一个聚类问题。但如何聚类却有很多种方法。在上文我们说当 时，Q(X)= Yi；(i=1 ,2,…,M)。这是用胞腔来定义Q(X)。反过来，也可以用Q(X)和码字Yi来定义胞腔Ri，如式（2.11）所示:
（2.11）
当然，最初必须有一个明确的Q{X〕的定义。
如何判断 昵？通常定义一个失真测度函数 (实数域)，d (X,Yi)表示用Yi来代表X时产生的误差。我们用它来判断一个矢量X到底属于那个胞腔:
当d (X,Y
因此，在这里量化器的主要工作就是利用失真测度函数d进行最近邻码字收索。有时候我们也把d(X,Yi)称作X与Yi之NJ的距离。
2．3．3 失真测度函数
我们要求失真测度函数满足以下两个条件：
(1)正定性： 当且仅当 X=Y时d( X,Y)=0；
(2)对称性： ；
有时候我们也加上第三个条件：
(3)三角不等式： ；
失真测度函数通常选择线性赋范空间中的范数，根据范数的定义，它们都满足上面三个条件。在本文中若无特殊声明，我们的d(X,Y)就取最常用的2范数的平方，即K维欧几里德空间中的距离的平方： ，我们把这个测度又称为平方误差测度。它虽然不满足三角不等式但是 却是满足全部这三个条件的。
事实上，判断一个矢量X属于哪个胞腔可以有很多种标准，在本文中，我们仅仅依据最近邻(NN: Nearest Neighbor)准则为判断标准。利用矢量失真函数d，我们再定义一个胞腔失真函数：

上一页  [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13]  下一页