多元微分

WARNING

本篇文章仅从直觉上引入各种数学概念，它们并不会被给出精准的定义。最终目的仅仅只是熟悉面对多元函数的求导方法，以为后面的梯度下降法的理解和计算做铺垫。

微分

中学时代，我们就学习了导函数和导数。我们知道导函数的定义实际上是：

$$f'(x) = \lim\limits_{\Delta x\rightarrow 0} \frac{f(x + \Delta x) - f(x)}{\Delta x}$$

其中 $\lim$ 是极限符号，在上式中的含义为：当 $\Delta x$ 趋于 $0$ 时的极限。从几何上说，我们可以认为上式是在求 $f$ 在 $x$ 处切线的斜率。有关导数的知识，大家应该很熟悉，这里不再赘述。

但我们也可以这么写这个式子：

$$f'(x) = \frac{\text{d}f}{\text{d}x}$$

其中的 $\text{d}x$、$\text{d}f$都是无穷小量。拿 $\text{d}x$ 举例，你可以认为它代表了：

$$\text{d}x : \lim\limits_{\Delta x\rightarrow 0}\Delta x$$

这里之所以写 $:$，而不是写 $=$，是因为无穷小量更类似一个过程，而不是一个值。实际上，只有在求极限的过程中，无穷小量才是有意义的（它被用 $\varepsilon - \delta$ 语言定义在一个求极限的场景中）。在这里，你可以这么理解无穷小量：无穷小量没有具体的数值，它比任何一个可以直接写出来的数都更接近 $0$，但是它不等于 $0$，它是一个要多小有多小的量。

在这里，$\text{d}x$ 的意义是自变量 $x$ 的一个无穷小的变化，$\text{d}f$ 则是 $f$ 受到 $x$ 无穷小变化的影响而发生的无穷小的变化。无穷小之间亦有差距，我们可以通过求极限的那些数学方法求出 $\frac{\text{d}f}{\text{d}x}$，也就可以得知 $f'(x)$。

我们通过简单的变换还可以写出下面的式子：

$$\text{d}f = f'(x)\text{d}x$$

可以看到，我们本质上是在认为：$\text{d}f$ 与 $\text{d}x$ 之间的关系是线性的。如果$\text{d}$

多输入函数（多元函数）

多输入多输出函数