回归模型

广义线性模型、混合效应模型、高斯过程回归

三种模型中，相对最有名的应是广义线性模型(GLM)。包括吴恩达的机器学习课程中也包含GLM。简单来说，广义线性模型是采用线性方法来解决非线性的相关，实际上是一种特殊的非线性模型。 混合效应模型（MEM）在固定效应（如线性模型）的基础上加了一项“随机效应”。固定效应通常是传统的线性回归或者其它函数关系。随机效应则与所抽取的样本分布有关。因此随机效应具有先验分布，而固定效应没有。MEM拟合能力较强，相对模型也更容易解释，缺点是需要有大量的项，模型建立时需要自己指定每一项，故而相当繁琐。下面重点介绍一下高斯过程回归（GPR）。

Reference

[1] 功能强大的回归模型——高斯过程回归

[2] 高斯过程的最强实现工具--GPflow OR GPyTorch - 知乎 (zhihu.com)