协方差矩阵怎么算 协方差矩阵的意义怎么看

如何计算协方差矩阵?

1 计算协方差矩阵是可以实现的。2 协方差矩阵是用来衡量两个变量之间的相关性和方差,它是由每个变量与其他变量的协方差所组成的方阵。计算协方差矩阵的方法可以采用多种,包括矩阵运算、线性代数公式等。其中,最常用的是利用样本数据计算样本协方差矩阵,公式为:协方差矩阵=1/(n-1)*((X-E(X))(X-E(X))^T),其中X为样本数据矩阵,E(X)为X的均值向量。3 在实际应用中,协方差矩阵常常用于数据分析、统计建模、多元回归等领域,计算协方差矩阵是一个基础而重要的步骤。协方差矩阵可以帮助我们更好地理解变量之间的关系,为后续分析提供依据。

协方差矩阵的意义?

①. 协方差矩阵能处理多维问题;

②. 协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差;

③. 协方差矩阵计算的是不同维度之间的协方差,而不是不同样本之间的;

④. 样本矩阵中若每行是一个样本,则每列为一个维度,所以计算协方差时要按照列计算均值。

延伸阅读

协方差及协方差矩阵有着特别广泛的应用,在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到,本文从协方差、协方差矩阵讲起,并重点讲解协方差矩阵在高斯分布中的用法及意义,也是讲解高斯过程、贝叶斯优化的铺垫。

协方差(Covariance)

X、Y两个随机变量的协方差在和中用于衡量两个变量的总体。用来刻画两个随机变量之间的相关性:

 

假定我们不知道潜在的概率分布,我们取n个样本来计算:

 

分别计算这n样本的两个变量的均值,这两个变量的协方差可以用下式来计算:

 

由于变量都有量纲,如果消除各自量纲影响,将协方差除以两个变量的标准差,则可得相关系数:

 

协方差矩阵

随机向量:

 

我们计算所有元素的两两协方差,形成协方差矩阵:

 

 

这是一个对称矩阵,对角线是每个变量的方差。如果是对角阵,

协方差矩阵形式如下:

 

协方差矩阵与多元高斯分布

多元高斯分布概率密度的推导

设多元高斯分布如下:均值向量为μ,协方差矩阵为Σ

 

 

与一元高斯分布对比,概率密度函数形式有所变化,这个变化是怎么来的,我们通过二元高斯分布来推导一下这个密度函数的由来。

对于二元高斯分布,我们设定:

 

现在我们推导两个变量的高斯分布的密度函数公式:

 

 

这个联合概率密度函数是各自概率密度函数的乘积,这表明两个变量是独立的。这个独立性反映在我们的协方差矩阵中,就是只有对角线元素不为零,两个变量是独立的,所以联合概率密度可以表示为两个变量概率密度的乘积

二维高斯分布函数图像

我们看相互独立的两个变量的二维高斯分布图像在XoY平面投影的函数表达式

 

 

令:

 

得:

 

显然这是一个椭圆曲线的表达式。

我们看两种情况,一种协方差矩阵是对角阵(变量相互独立),另一种是协方差矩阵是非对角阵(变量有关联)

  • 如果高斯随机向量具有对角线的协方差矩阵(所有变量都是不相关的,那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴平行于坐标轴。

 

  • 如果高斯随机向量的协方差矩阵是非对角阵(一些变量是相关的),那么概率密度函数曲面在X0Y投影的椭圆曲线的两个轴仍然是相互重直,但与坐标轴并不平行。

 

我们用matlab来形象展示一下:

下图是两个变量的均值都是零,协方差矩阵为:

 

其三维曲面如下:

 

在XOY平面的投影如下:

 

本文主要讲解了协方差矩阵及其在高斯分布中意义和用法。协方差矩阵在高斯过程中有着非常重要的意义,如果不能很好的理解协方差矩阵,就不能很好的理解高斯过程。

版权声明