相关










在概率论和统计学中,相关(Correlation),显示两个随机变量之间线性关系的强度和方向。在统计学中,相关的意义是用来衡量两个变量相对于其相互独立的距离。在这个广义的定义下,有许多根据数据特点而定义的用来衡量数据相关的系数。




几组(x, y)的点集,以及各个点集中x和y之间的相关系数。我们可以发现相关系数反映的是变量之间的线性关系和相关性的方向(第一排),而不是相关性的斜率(中间),也不是各种非线性关系(第三排)。请注意:中间的图中斜率为0,但相关系数是没有意义的,因为此时变量Y是0




目录






  • 1 各種相關係數


  • 2 皮尔逊积差系数(Pearson's product moment coefficient)


    • 2.1 数学特征


    • 2.2 几何特征




  • 3 统计学上的相关


  • 4 參考文獻


  • 5 参见





各種相關係數


对于不同測量尺度的變數,有不同的相關系数可用:




  • Pearson相关系数(Pearson's r):衡量兩個等距尺度或等比尺度變數之相關性。是最常見的,也是學習統計學時第一個接觸的相關係數。


  • 淨相關(英语:partial correlation):在模型中有多個自變數(或解釋變數)時,去除掉其他自變數的影響,只衡量特定一個自變數與因變數之間的相關性。自變數和因變數皆為連續變數。

  • 相關比(英语:correlation ratio):衡量兩個連續變數之相關性。




  • Gamma相關係數:衡量兩個次序尺度變數之相關性。


  • Spearman等級相關係數:衡量兩個次序尺度變數之相關性。

  • Kendall等級相關係數(英语:Kendall tau rank correlation coefficient):衡量兩個人為次序尺度變數(原始資料為等距尺度)之相關性。

  • Kendall和諧係數:衡量兩個次序尺度變數之相關性。




  • Phi相關係數(英语:Phi coefficient):衡量兩個真正名目尺度的二分變數之相關性。

  • 列聯相關係數(英语:contingency coefficient):衡量兩個真正名目尺度變數之相關性。

  • 四分相關(英语:tetrachoric correlation):衡量兩個人為名目尺度(原始資料為等距尺度)的二分變數之相關性。

  • Kappa一致性係數(英语:K coefficient of agreement):衡量兩個名目尺度變數之相關性。



  • 點二系列相關係數(英语:point-biserial correlation):X變數是真正名目尺度二分變數。Y變數是連續變數。

  • 二系列相關係數(英语:biserial correlation):X變數是人為名目尺度二分變數。Y變數是連續變數。



皮尔逊积差系数(Pearson's product moment coefficient)




数学特征



ρX,Y=cov(X,Y)σY=E((X−μX)(Y−μY))σY{displaystyle rho _{X,Y}={mathrm {cov} (X,Y) over sigma _{X}sigma _{Y}}={E((X-mu _{X})(Y-mu _{Y})) over sigma _{X}sigma _{Y}}}rho _{X,Y}={mathrm {cov} (X,Y) over sigma _{X}sigma _{Y}}={E((X-mu _{X})(Y-mu _{Y})) over sigma _{X}sigma _{Y}}

其中,E是数学期望,cov表示协方差,σX{displaystyle sigma _{X}}sigma _{X}σY{displaystyle sigma _{Y}}sigma _{Y}是標準差。


因为μX=E(X){displaystyle mu _{X}=E(X)}mu _{X}=E(X)σX2=E(X2)−E2(X){displaystyle sigma _{X}^{2}=E(X^{2})-E^{2}(X)}sigma _{X}^{2}=E(X^{2})-E^{2}(X),同样地,对于Y{displaystyle Y}Y,可以写成



ρX,Y=E(XY)−E(X)E(Y)E(X2)−E2(X) E(Y2)−E2(Y){displaystyle rho _{X,Y}={frac {E(XY)-E(X)E(Y)}{{sqrt {E(X^{2})-E^{2}(X)}}~{sqrt {E(Y^{2})-E^{2}(Y)}}}}}rho _{X,Y}={frac {E(XY)-E(X)E(Y)}{{sqrt {E(X^{2})-E^{2}(X)}}~{sqrt {E(Y^{2})-E^{2}(Y)}}}}

当两个变量的標準差都不为零,相关系数才有定义。从柯西-施瓦茨不等式可知,相关系数的絕對值不超过1。当两个变量的线性关系增强时,相关系数趋于1或-1。当一个变量增加而另一变量也增加时,相关系数大于0。当一个变量的增加而另一变量减少时,相关系数小于0。当两个变量独立时,相关系数为0,但反之并不成立。这是因为相关系数仅仅反映了两个变量之间是否线性相关。比如说,X是区间[-1,1]上的一个均匀分布的随机变量。Y = X2.那么Y是完全由X确定。因此YX是不独立的。但是相关系数为0。或者说他们是不相关的。当YX服从联合正态分布时,其相互独立和不相关是等价的。


当一个或两个变量带有测量误差时,他们的相关性就受到削弱,这时,“反衰减”性(disattenuation)是一个更准确的系数。



几何特征


对于居中的数据来说(何谓居中?也就是每个数据减去样本均值,居中后它们的平均值就为0),相关系数可以看作是两个随机变量中得到的样本集向量之间夹角的cosine函数。一些实际工作者更喜欢用非居中的相关系数(与Pearson系数不相兼容)。看下面的例子中有一个比较。例如,假设五个国家的国民生产总值分别是1、2、3、5、8(单位10亿美元),又假设这五个国家的贫困比例分别是11%、12%、13%、15%、18%。则我们现在有两个有序的包含5个元素的向量x、y:x =(1, 2, 3, 5, 8)、 y =(0.11, 0.12, 0.13, 0.15, 0.18)
使用一般的方法来计算向量间夹角(参考数量积),未居中的相关性系数如下:



cos⁡θ=x⋅y‖x‖‖y‖=2.931030.0983=0.920814711{displaystyle cos theta ={frac {mathbf {x} cdot mathbf {y} }{left|mathbf {x} right|left|mathbf {y} right|}}={frac {2.93}{{sqrt {103}}{sqrt {0.0983}}}}=0.920814711}{displaystyle cos theta ={frac {mathbf {x} cdot mathbf {y} }{left|mathbf {x} right|left|mathbf {y} right|}}={frac {2.93}{{sqrt {103}}{sqrt {0.0983}}}}=0.920814711}

上面的数据实际上是故意选择了一个完美的线性关系:y = 0.10 + 0.01 x。因此皮尔逊相关系数应该就是1。把数据居中(x中数据减去E (x) = 3.8,y中数据减去E (y) = 0.138)后得到:x =(−2.8, −1.8, −0.8, 1.2, 4.2)、y =(−0.028, −0.018, −0.008, 0.012, 0.042),由此得到了预期结果:



cos⁡θ=x⋅y‖x‖‖y‖=0.30830.80.00308=1=ρxy{displaystyle cos theta ={frac {mathbf {x} cdot mathbf {y} }{left|mathbf {x} right|left|mathbf {y} right|}}={frac {0.308}{{sqrt {30.8}}{sqrt {0.00308}}}}=1=rho _{xy}}{displaystyle cos theta ={frac {mathbf {x} cdot mathbf {y} }{left|mathbf {x} right|left|mathbf {y} right|}}={frac {0.308}{{sqrt {30.8}}{sqrt {0.00308}}}}=1=rho _{xy}}


统计学上的相关


相关系数的计算过程可表示为:将每个变量都转化为标准单位,乘积的平均数即为相关系数[1]


两个变量的关系可以直观地用散点图表示,当其紧密地群聚于一条直线的周围时,变量间存在强相关[2]


一个散点图可以用五个统计量来概括。所有x值得平均数,所有x值的SD,所有y值得平均数,所有y值的SD,相关系数r.


将第一个变量记为x ,第二个变量记为y ,相关系数为r,则可以通过以下公式:


r = [(以标准单位表示的x)X(以标准单位表示的y)]的平均数



參考文獻





  1. ^ David Freedman; Robert Pisani, Roger Purves. Statistics. Norton & Company. 1998: 148. ISBN 9780393960433. 3 (英语).  引文使用过时参数coauthors (帮助)


  2. ^ David Freedman; Robert Pisani, Roger Purves. Statistics. Norton & Company. 1998: 156. ISBN 9780393960433. 3 (英语).  引文使用过时参数coauthors (帮助)




参见



  • 相关不蕴涵因果

  • 關聯係數






Popular posts from this blog

Y

Mount Tamalpais

Indian Forest Service