【机器学习算法推导】前置知识

一、链式求导法则

若有两个一元函数\(f(x)\)和\(g(x)\)，我们可以把\(g(x)\)的值作为\(f(x)\)的自变量，得到一个新的函数称为\(f(x)\)和\(g(x)\)的复合函数，记作\(f[g(x)]\)

如果我们已知两个函数\(f(x)\)和\(g(x)\)的导函数\(f'(x)\)和\(g'(x)\)，则复合函数\(f(g(x))\)的导函数计算公式如下：

\[ [f(g(x))]' = f'(g(x))g'(x) \]

将该公式推广到三个及以上函数的复合函数上，也能得到具有类似形式的公式如下： $$

\[ ## 二、矩阵微分\]

\begin{aligned}

(w^, b^) &= arg \ \mathrm{min} \sum_{i = 1}^ m(y - y_i)^2 \ &= arg \ \mathrm{min} \sum_{i = 1}^m (wx_i + b - y_i)^2

\end{aligned} $$