随机效应模型

随机效应模型 random effects model

随机效应模型(random effects models)是经典的线性模型的一种推广，就是把原来（固定）的回归系数看作是随机变量，一般均为如果是来自正态分布。假使模型里一部分系数是随机的，此外一部分是固定的，一般就叫做混合模型（mixed models）。

尽管定义很简单，对线性混合模型的研究与应用也已经比较成熟了，但是假使从不同的侧面来说，可以把很多的统计思想方法综合联系起来。概括地来看，这个模型是频率派和贝叶斯模型的结合，是经典的参数统计到高维报告分析的先驱，是拟合具有一定有关结构的观测的典型工具。

随机效应最直观的用处就是把固定效应推广到随机效应。注意，这时随机效应是一个群体概念，代表了一个分布的信息 or 特质，而对固定效应来说，我们所做的推断仅限于那几个固定的（未知的）参数。比如，假使要研究一部分水稻的品种能否与产能有影响，假使用于分析的品种是从一个很大的品种集合里随机选取的，那么这时用随机效应模型分析就可以推断所有品种组成的整体的一部分信息。这里，就体现了经典的频率派的思想-任何样本都来因为一个无限的群体(population)。

同期，引入随机效应就可以使个体观测之间就有适当的有关性，所以就可以用来拟合非独立观测的报告。经典的就有重复观测的报告，多时间点的记录等等，很多时候就叫做纵向报告(longitudinal data)，已经形成很大的一个统计分支。

上述两点差不多属于频率派，分析的工具也很经典，像极大似然预期，似然比检验，大样本的渐近性等。但是，应当注意到把固定的参数看做是随机变量，可是贝叶斯学派的观念。诚然，mixed models 不能算是完全的贝叶斯模型，由于贝叶斯学派要把所有的未知的参数都看作是随机的。所以有人把它看做是半贝叶斯的 or 经验贝叶斯的。在这个模型上，我们可以目睹两个学派很好的共存与交流，在现代的统计方法里两种学派互相结合的例子也逐渐增多。

众所周知，随机效应有压缩(shrinkage)的功能, 而且可以使模型的自由度(df) 变小。这个简单的结果，对当下的高维报告分析的成长起到了举足轻重的作用。实际上，随机效应模型就是一个带惩罚(penalty)的一个线性模型，有引入正态随机效应就等价于增长的一个二次惩罚。有趣的是，著名的岭回归(ridge regression) 就是一个二次惩罚，它的提出处理了当设计矩阵不满秩时最小二乘预期（LSE）无法计算以及提升了预期能力。于是，引入随机效应或者二次惩罚就可以处理当参多个数p 大于观测个数n的情形，这是在分析高维报告时务必面对的困难。诚然，二次惩罚仍有一个特性，如：计算简便，能选择有关的pdictors，对前面的几个主成分压缩程度较小等。