# 【机器学习算法推导】前置知识

## 一、链式求导法则

若有两个一元函数$f(x)$和$g(x)$，我们可以把$g(x)$的值作为$f(x)$的自变量，得到一个新的函数称为$f(x)$和$g(x)$的**复合函数**，记作$f[g(x)]$

如果我们已知两个函数$f(x)$和$g(x)$的导函数$f'(x)$和$g'(x)$，则复合函数$f(g(x))$的导函数计算公式如下：

$$
[f(g(x))]' = f'(g(x))g'(x)
$$


将该公式推广到三个及以上函数的复合函数上，也能得到具有类似形式的公式如下：
$$

$$


## 二、矩阵微分


$$
\begin{aligned}

(w^*, b^*) &= arg \  \mathrm{min} \sum_{i = 1}^ m(y - y_i)^2 \\
           &= arg \ \mathrm{min} \sum_{i = 1}^m (wx_i + b - y_i)^2

\end{aligned}
$$