判别函数

• 二分类：线性判别函数的最简单形式是输入向量的线性函数 $y(\pmb x)=\pmb w^T\pmb x+w_0$ ，对应的决策边界由 $y(\pmb x)=0$ 确定，即 $D$ 维空间里的一个 $(D-1)$ 维超平面，由距离公式，点 $\pmb x$ …

线性基函数模型

• 将线性模型的输入变量的固定的非线性函数进行线性组合可以扩展模型，即 $y(\pmb{x,w})=\sum_{j=0}^{M-1}w_j\phi_j(\pmb x)=\pmb w^T\pmb{\phi(x)}$ ，其中的 $\phi(\pmb x)$ 被称为基函数，相当于把 $\pmb x$ 映射到一个 $M$ …

二元变量

• 共轭性：后验概率分布（正比于先验和似然函数的乘积）与引入的先验分布有着相同的函数形式，是一种用来简化贝叶斯分析的人为设计

• Beta分布：二项分布$Bin(m|N,\mu)=\binom{N}{m}\mu^m(1-\mu)^{N-m}$ ，为了避免小规模数据所求得参数$\mu$的最大似然解引起的过拟合需要对$\mu$假设一 …

概率论

• 由贝叶斯公式 $p(\pmb w|\mathcal D)=\frac{p(\mathcal D|\pmb w)p(\pmb w)}{p(\mathcal D)}$ 得到贝叶斯定理：“后验概率正比于先验概率与似然函数的乘积”

• 假设观测值 $\pmb t$ 服从高斯分布 $N(y(\pmb{x,w}), \frac{1}{\beta})$ ，则最大化似 …