1.1.1 生物神经元的工作机制#

生物神经元是神经系统的基本单元，其结构包括：

1. 树突（Dendrites）：接收来自其他神经元的输入信号
2. 细胞体（Soma）：整合输入信号并决定是否激活
3. 轴突（Axon）：传输输出信号
4. 突触（Synapses）：神经元间的连接点，控制信号传递强度

生物神经元的数学抽象：

生物神经元的激活过程可以抽象为：

其中：

• $x_i$：第 i 个输入信号
• $w_i$：第 i 个突触权重
• $\theta$：激活阈值
• $f(\cdot)$：激活函数

1.1.2 McCulloch-Pitts神经元模型#

历史背景： 1943年，McCulloch和Pitts提出了第一个数学化的神经元模型，奠定了人工神经网络的理论基础。

数学模型：

模型特点：

• 输入和输出都是二值的（0或1）
• 权重可以是正数（兴奋性连接）或负数（抑制性连接）
• 具有阈值激活机制

1.2.1 感知机的数学定义#

Rosenblatt在1957年提出的感知机是McCulloch-Pitts模型的扩展：

线性判别函数：

决策函数：

其中：

• $\mathbf{x} \in \mathbb{R}^d$：输入特征向量
• $\mathbf{w} \in \mathbb{R}^d$：权重向量
• $b \in \mathbb{R}$：偏置项
• $\text{sign}(\cdot)$：符号函数

1.2.2 感知机的几何解释#

超平面分割：

感知机在 d 维特征空间中定义了一个超平面：

点到超平面的距离：

对于任意点 $\mathbf{x}_0$，其到超平面的距离为：

分类边界：

• 当 $\mathbf{w}^T\mathbf{x} + b > 0$ 时，点位于超平面正侧，分类为 +1
• 当 $\mathbf{w}^T\mathbf{x} + b < 0$ 时，点位于超平面负侧，分类为 -1

1.2.3 感知机学习算法#

目标函数：

感知机使用误分类点到超平面的距离之和作为损失函数：

其中 $M$ 是误分类点的集合。

梯度计算：

参数更新规则：

其中 $\eta > 0$ 是学习率。

1.2.4 感知机收敛定理#

定理（Novikoff, 1962）：

设训练集 $\{(\mathbf{x}_i, y_i)\}_{i=1}^{N}$ 线性可分，存在 $\mathbf{w}^*$ 和 $b^*$ 使得：

且 $\|\mathbf{x}_i\| \leq R$，则感知机算法在有限步内收敛，迭代次数不超过：

完整证明：

为简化表示，我们将偏置项合并到权重向量中，即$\tilde{\mathbf{w}} = [\mathbf{w}; b]$，$\tilde{\mathbf{x}} = [\mathbf{x}; 1]$。

步骤1：证明内积单调递增

设在第t次迭代时，样本$(\mathbf{x}_i, y_i)$被误分类，则有： $y_i(\tilde{\mathbf{w}}^{(t)T}\tilde{\mathbf{x}}_i) \leq 0$

根据感知机更新规则： $\tilde{\mathbf{w}}^{(t+1)} = \tilde{\mathbf{w}}^{(t)} + \eta y_i \tilde{\mathbf{x}}_i$

计算$\tilde{\mathbf{w}}^{(t+1)T}\tilde{\mathbf{w}}^*$： $\tilde{\mathbf{w}}^{(t+1)T}\tilde{\mathbf{w}}^* = (\tilde{\mathbf{w}}^{(t)} + \eta y_i \tilde{\mathbf{x}}_i)^T\tilde{\mathbf{w}}^*$ $= \tilde{\mathbf{w}}^{(t)T}\tilde{\mathbf{w}}^* + \eta y_i \tilde{\mathbf{x}}_i^T\tilde{\mathbf{w}}^*$

由于$y_i(\tilde{\mathbf{w}}^{*T}\tilde{\mathbf{x}}_i) \geq \gamma > 0$，所以： $\tilde{\mathbf{w}}^{(t+1)T}\tilde{\mathbf{w}}^* \geq \tilde{\mathbf{w}}^{(t)T}\tilde{\mathbf{w}}^* + \eta\gamma$

因此，经过T次更新后： $\tilde{\mathbf{w}}^{(T)T}\tilde{\mathbf{w}}^* \geq \tilde{\mathbf{w}}^{(0)T}\tilde{\mathbf{w}}^* + T\eta\gamma$

步骤2：证明权重范数增长有界

计算$\|\tilde{\mathbf{w}}^{(t+1)}\|^2$： $\|\tilde{\mathbf{w}}^{(t+1)}\|^2 = \|\tilde{\mathbf{w}}^{(t)} + \eta y_i \tilde{\mathbf{x}}_i\|^2$ $= \|\tilde{\mathbf{w}}^{(t)}\|^2 + 2\eta y_i \tilde{\mathbf{w}}^{(t)T}\tilde{\mathbf{x}}_i + \eta^2\|\tilde{\mathbf{x}}_i\|^2$

由于样本被误分类，有$y_i \tilde{\mathbf{w}}^{(t)T}\tilde{\mathbf{x}}_i \leq 0$，且$\|\tilde{\mathbf{x}}_i\| \leq R$，所以： $\|\tilde{\mathbf{w}}^{(t+1)}\|^2 \leq \|\tilde{\mathbf{w}}^{(t)}\|^2 + \eta^2 R^2$

经过T次更新后： $\|\tilde{\mathbf{w}}^{(T)}\|^2 \leq \|\tilde{\mathbf{w}}^{(0)}\|^2 + T\eta^2 R^2$

步骤3：应用Cauchy-Schwarz不等式

由Cauchy-Schwarz不等式： $\tilde{\mathbf{w}}^{(T)T}\tilde{\mathbf{w}}^* \leq \|\tilde{\mathbf{w}}^{(T)}\| \|\tilde{\mathbf{w}}^*\|$

结合前面的结果： $\tilde{\mathbf{w}}^{(0)T}\tilde{\mathbf{w}}^* + T\eta\gamma \leq \sqrt{\|\tilde{\mathbf{w}}^{(0)}\|^2 + T\eta^2 R^2} \|\tilde{\mathbf{w}}^*\|$

当$\tilde{\mathbf{w}}^{(0)} = \mathbf{0}$时，上式简化为： $T\eta\gamma \leq \sqrt{T\eta^2 R^2} \|\tilde{\mathbf{w}}^*\| = \eta R \sqrt{T} \|\tilde{\mathbf{w}}^*\|$

两边除以$\eta$并平方： $T^2\gamma^2 \leq T R^2 \|\tilde{\mathbf{w}}^*\|^2$

因此： $T \leq \frac{R^2 \|\tilde{\mathbf{w}}^*\|^2}{\gamma^2}$

这证明了感知机算法在有限步内收敛。□

1.3.1 线性可分性限制#

XOR问题： 考虑异或（XOR）逻辑函数：

不可分性证明： 假设存在权重$w_1, w_2$和偏置$b$使得感知机能解决XOR问题，则需要：

• $w_1 \cdot 0 + w_2 \cdot 0 + b < 0$ （对应输出0）
• $w_1 \cdot 0 + w_2 \cdot 1 + b > 0$ （对应输出1）
• $w_1 \cdot 1 + w_2 \cdot 0 + b > 0$ （对应输出1）
• $w_1 \cdot 1 + w_2 \cdot 1 + b < 0$ （对应输出0）

从前三个不等式可得：$b < 0$，$w_2 + b > 0$，$w_1 + b > 0$ 因此：$w_1 + w_2 + b > 0$

但第四个不等式要求：$w_1 + w_2 + b < 0$

这产生了矛盾，证明单层感知机无法解决XOR问题。

1.3.2 表达能力的数学分析#

线性分类器的局限： 单层感知机只能实现线性可分的分类任务，其决策边界是线性的。对于复杂的非线性分类问题，需要更强大的模型。

布尔函数的实现能力：

• n个输入的布尔函数共有$2^{2^n}$个
• 单层感知机只能实现其中线性可分的部分
• 随着输入维度增加，可实现的布尔函数比例急剧下降

2.1.1 网络拓扑结构#

前馈神经网络的数学表示： 考虑一个L层的前馈神经网络：

第l层的计算： $\mathbf{z}^{(l)} = \mathbf{W}^{(l)}\mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$ $\mathbf{a}^{(l)} = \sigma^{(l)}(\mathbf{z}^{(l)})$

其中：

• $\mathbf{a}^{(l)} \in \mathbb{R}^{n_l}$：第l层的激活输出
• $\mathbf{W}^{(l)} \in \mathbb{R}^{n_l \times n_{l-1}}$：第l层的权重矩阵
• $\mathbf{b}^{(l)} \in \mathbb{R}^{n_l}$：第l层的偏置向量
• $\sigma^{(l)}(\cdot)$：第l层的激活函数
• $\mathbf{a}^{(0)} = \mathbf{x}$：输入层

网络的整体映射： $f(\mathbf{x}; \Theta) = \sigma^{(L)}(\mathbf{W}^{(L)}\sigma^{(L-1)}(\mathbf{W}^{(L-1)}\cdots\sigma^{(1)}(\mathbf{W}^{(1)}\mathbf{x} + \mathbf{b}^{(1)})\cdots + \mathbf{b}^{(L-1)}) + \mathbf{b}^{(L)})$

其中$\Theta = \{\mathbf{W}^{(l)}, \mathbf{b}^{(l)}\}_{l=1}^{L}$是所有参数的集合。

2.1.2 参数数量分析#

权重参数数量：

$N_w = \sum_{l=1}^{L} n_l \times n_{l-1}$

偏置参数数量：

$N_b = \sum_{l=1}^{L} n_l$

总参数数量：

$N_{total} = N_w + N_b = \sum_{l=1}^{L} n_l(n_{l-1} + 1)$

2.2.1 定理陈述#

Cybenko定理（1989）： 设$\sigma$是非常数、有界、单调递增的连续函数。设$I_m$是m维单位超立方体$[0,1]^m$。则对于任意连续函数$f: I_m \rightarrow \mathbb{R}$和任意$\epsilon > 0$，存在整数$N$、实数$v_i, b_i \in \mathbb{R}$和向量$\mathbf{w}_i \in \mathbb{R}^m$，使得：

$F(\mathbf{x}) = \sum_{i=1}^{N} v_i \sigma(\mathbf{w}_i^T\mathbf{x} + b_i)$

满足： $\sup_{\mathbf{x} \in I_m} |F(\mathbf{x}) - f(\mathbf{x})| < \epsilon$

Cybenko定理的详细证明：

引理1（Hahn-Banach定理的应用）： 设$S$是$C(I_m)$中的子空间，其中$C(I_m)$是$I_m$上连续函数的空间。如果存在非零有界线性泛函$L: C(I_m) \rightarrow \mathbb{R}$使得对所有$g \in S$都有$L(g) = 0$，则$S$在$C(I_m)$中不稠密。

引理2（Riesz表示定理）： $C(I_m)$上的每个有界线性泛函都可以表示为某个有符号Radon测度的积分。

主要证明：

设$S = \text{span}\{\sigma(\mathbf{w}^T\mathbf{x} + b) : \mathbf{w} \in \mathbb{R}^m, b \in \mathbb{R}\}$。

我们用反证法证明$S$在$C(I_m)$中稠密。假设$S$不稠密，则由引理1，存在非零有界线性泛函$L$使得： $L(\sigma(\mathbf{w}^T\mathbf{x} + b)) = 0, \quad \forall \mathbf{w} \in \mathbb{R}^m, b \in \mathbb{R}$

由引理2，存在有符号Radon测度$\mu$使得： $L(g) = \int_{I_m} g(\mathbf{x}) d\mu(\mathbf{x})$

因此： $\int_{I_m} \sigma(\mathbf{w}^T\mathbf{x} + b) d\mu(\mathbf{x}) = 0, \quad \forall \mathbf{w} \in \mathbb{R}^m, b \in \mathbb{R}$

关键步骤： 定义$\phi(\mathbf{w}, b) = \int_{I_m} \sigma(\mathbf{w}^T\mathbf{x} + b) d\mu(\mathbf{x})$。

由于$\sigma$是单调递增的，当$\|\mathbf{w}\| \rightarrow \infty$时，$\sigma(\mathbf{w}^T\mathbf{x} + b)$趋向于阶跃函数。

通过复分析中的Fourier变换理论，可以证明如果$\phi(\mathbf{w}, b) = 0$对所有$(\mathbf{w}, b)$成立，则$\mu = 0$，这与$L \neq 0$矛盾。

因此$S$在$C(I_m)$中稠密，即对任意$f \in C(I_m)$和$\epsilon > 0$，存在$F \in S$使得$\|F - f\|_\infty < \epsilon$。□

Hornik定理（1991）： 多层前馈网络是万能逼近器，如果且仅当激活函数不是多项式。

Hornik定理的证明要点：

必要性： 如果激活函数是多项式，则整个网络输出也是多项式，无法逼近非多项式函数。

充分性： 对于非多项式激活函数，可以构造网络逼近任意连续函数。关键在于证明非多项式函数具有足够的”非线性度”来表达复杂函数。

2.2.2 定理的深层含义#

存在性vs可学习性：

• 定理保证了逼近函数的存在性
• 但不保证能通过梯度下降等算法找到最优参数
• 实际中需要考虑样本复杂度和计算复杂度

深度vs宽度的权衡：

• 理论上单隐藏层网络已足够
• 实践中深层网络通常更高效
• 深度网络能以指数级减少所需神经元数量

2.3.1 深度的指数优势#

定理（Telgarsky, 2016）： 存在函数$f$，使得深度为$k$的ReLU网络可以用$O(1)$个神经元表示，但任何深度小于$k$的网络都需要$\Omega(2^k)$个神经元才能逼近$f$。

证明思路： 构造锯齿函数$f(x) = \max(0, \sin(2^k \pi x))$，利用ReLU网络的分段线性性质证明深度的必要性。

2.3.2 层次化特征学习#

表示学习理论： 深层网络能够学习层次化的特征表示：

• 浅层：学习局部特征（边缘、纹理）
• 中层：学习中级特征（形状、部件）
• 深层：学习高级特征（对象、概念）

数学表示： 第l层的特征可以表示为： $\phi^{(l)}(\mathbf{x}) = \sigma^{(l)}(\mathbf{W}^{(l)}\phi^{(l-1)}(\mathbf{x}) + \mathbf{b}^{(l)})$

其中$\phi^{(0)}(\mathbf{x}) = \mathbf{x}$，$\phi^{(l)}(\mathbf{x})$表示第l层学到的特征表示。

3.1.1 非线性的重要性#

线性组合的局限性： 如果没有非线性激活函数，多层网络退化为线性变换： $f(\mathbf{x}) = \mathbf{W}^{(L)}\mathbf{W}^{(L-1)}\cdots\mathbf{W}^{(1)}\mathbf{x} = \mathbf{W}_{eq}\mathbf{x}$

其中$\mathbf{W}_{eq} = \mathbf{W}^{(L)}\mathbf{W}^{(L-1)}\cdots\mathbf{W}^{(1)}$是等效权重矩阵。

非线性激活的作用：

1. 引入非线性变换能力
2. 增强网络的表达能力
3. 使深层网络有意义

3.1.2 激活函数的数学性质#

理想激活函数的特性：

1. 非线性：$\sigma(\alpha x + \beta y) \neq \alpha\sigma(x) + \beta\sigma(y)$
2. 可微性：几乎处处可导，支持梯度下降优化
3. 单调性：保证损失函数的凸性（在单层情况下）
4. 有界性或无界性：影响梯度传播和数值稳定性
5. 零中心性：输出均值接近零，加速收敛

3.2.1 Sigmoid函数#

数学定义：

导数：

数学性质分析：

1. 值域：$(0, 1)$，可解释为概率
2. 单调性：严格单调递增
3. 对称性：关于点$(0, 0.5)$中心对称
4. 饱和性：当$|x|$很大时，导数趋近于0

梯度消失问题的数学分析：

在深层网络中，梯度通过链式法则传播： $\frac{\partial L}{\partial \mathbf{w}^{(1)}} = \frac{\partial L}{\partial \mathbf{a}^{(L)}} \prod_{l=2}^{L} \frac{\partial \mathbf{a}^{(l)}}{\partial \mathbf{a}^{(l-1)}}$

Sigmoid导数的上界分析： $\sigma'(x) = \sigma(x)(1-\sigma(x))$

设$t = \sigma(x) \in (0,1)$，则： $\sigma'(x) = t(1-t)$

对$f(t) = t(1-t)$求导：$f'(t) = 1-2t$

当$t = 1/2$时，$f'(t) = 0$，此时$\sigma'(x)$达到最大值$1/4$。

因此：$\sigma'(x) \leq 1/4$

梯度衰减的定量分析： 在L层网络中，假设每层权重矩阵的最大奇异值为$\sigma_{max}$，则： $\left\|\frac{\partial L}{\partial \mathbf{w}^{(1)}}\right\| \leq \left\|\frac{\partial L}{\partial \mathbf{a}^{(L)}}\right\| \prod_{l=2}^{L} \sigma_{max}^{(l)} \cdot \frac{1}{4}$

如果$\sigma_{max}^{(l)} \approx 1$，则梯度最多衰减$(1/4)^{L-1}$倍。

对于10层网络，梯度衰减约$4^{-9} \approx 3.8 \times 10^{-6}$倍，导致严重的梯度消失。

3.2.2 Tanh函数#

数学定义：

导数：

与 Sigmoid 的关系：

优势分析：

• 零中心化：输出范围$(-1, 1)$，均值为0
• 更强的梯度：$\max(\tanh'(x)) = 1 > 0.25 = \max(\sigma'(x))$

3.2.3 ReLU函数族#

标准ReLU：

导数：

数学优势：

1. 计算高效：只需要阈值操作
2. 梯度不饱和：正区域梯度恒为1
3. 稀疏激活：约50%的神经元输出为0

死亡ReLU问题： 当神经元输入始终为负时，梯度恒为0，参数无法更新。

数学分析： 设神经元的输入为$z = \mathbf{w}^T\mathbf{x} + b$，如果对所有训练样本都有$z \leq 0$，则： $\frac{\partial L}{\partial \mathbf{w}} = \frac{\partial L}{\partial z} \frac{\partial z}{\partial \mathbf{w}} = 0 \cdot \mathbf{x} = \mathbf{0}$

ReLU变种：

1. Leaky ReLU：

其中$\alpha$是小正数（通常为0.01）。

2. Parametric ReLU (PReLU)：

其中$\alpha$是可学习参数。

3. Exponential Linear Unit (ELU)：

3.2.4 现代激活函数#

Swish函数： $\text{Swish}(x) = x \cdot \sigma(\beta x) = \frac{x}{1 + e^{-\beta x}}$

GELU函数： $\text{GELU}(x) = x \cdot \Phi(x) = x \cdot \frac{1}{2}\left[1 + \text{erf}\left(\frac{x}{\sqrt{2}}\right)\right]$

其中$\Phi(x)$是标准正态分布的累积分布函数。

3.3.1 任务相关的选择#

分类任务输出层：

• 二分类：Sigmoid，输出概率$p \in (0, 1)$
• 多分类：Softmax，输出概率分布$\mathbf{p} \in \Delta^{K-1}$

回归任务输出层：

• 无约束回归：线性激活（恒等函数）
• 非负回归：ReLU或Softplus
• 有界回归：Sigmoid或Tanh

3.3.2 网络深度相关的选择#

浅层网络（1-3层）：

• Sigmoid和Tanh仍然可用
• 梯度消失问题不严重

深层网络（>3层）：

• 优先选择ReLU及其变种
• 考虑使用批量归一化缓解梯度问题

4.1.1 经验风险最小化#

统计学习理论框架： 设输入空间为$\mathcal{X}$，输出空间为$\mathcal{Y}$，存在未知的联合分布$P(X, Y)$。

期望风险： $R(f) = \mathbb{E}_{(X,Y) \sim P}[L(Y, f(X))]$

经验风险： $\hat{R}(f) = \frac{1}{n}\sum_{i=1}^{n} L(y_i, f(\mathbf{x}_i))$

经验风险最小化原则： $f^* = \arg\min_{f \in \mathcal{F}} \hat{R}(f)$

4.1.2 常用损失函数#

均方误差损失（MSE）： $L_{MSE}(y, \hat{y}) = \frac{1}{2}(y - \hat{y})^2$

梯度： $\frac{\partial L_{MSE}}{\partial \hat{y}} = \hat{y} - y$

交叉熵损失： 对于二分类： $L_{CE}(y, \hat{y}) = -y\log(\hat{y}) - (1-y)\log(1-\hat{y})$

对于多分类： $L_{CE}(\mathbf{y}, \hat{\mathbf{y}}) = -\sum_{k=1}^{K} y_k \log(\hat{y}_k)$

Hinge损失（SVM）： $L_{Hinge}(y, \hat{y}) = \max(0, 1 - y\hat{y})$

4.2.1 过拟合与正则化#

过拟合的数学描述： 当模型复杂度过高时，经验风险很小但期望风险很大： $\hat{R}(f) \ll R(f)$

正则化的目标函数： $J(\theta) = L(\theta) + \lambda R(\theta)$

其中：

• $L(\theta)$：经验损失
• $R(\theta)$：正则化项
• $\lambda$：正则化强度

4.2.2 常用正则化方法#

L1正则化（Lasso）： $R_{L1}(\theta) = \|\theta\|_1 = \sum_{i} |\theta_i|$

特点：

• 产生稀疏解
• 具有特征选择能力
• 在零点不可导

L2正则化（Ridge）： $R_{L2}(\theta) = \frac{1}{2}\|\theta\|_2^2 = \frac{1}{2}\sum_{i} \theta_i^2$

特点：

• 参数收缩但不为零
• 处处可导
• 对应高斯先验

Elastic Net： $R_{EN}(\theta) = \alpha \|\theta\|_1 + \frac{1-\alpha}{2}\|\theta\|_2^2$

结合L1和L2正则化的优点。

4.2.3 Dropout的数学解释#

Dropout操作： 在训练时，以概率$p$随机将神经元输出置零： $\tilde{\mathbf{a}}^{(l)} = \mathbf{m}^{(l)} \odot \mathbf{a}^{(l)}$

其中$\mathbf{m}^{(l)} \sim \text{Bernoulli}(1-p)$是掩码向量。

数学解释：

1. 模型平均：Dropout等价于对指数级数量的子网络进行集成
2. 正则化效应：增加训练噪声，提高泛化能力
3. 共适应性减少：防止神经元间过度依赖

4.3.1 梯度下降法#

批量梯度下降（BGD）： $\theta^{(t+1)} = \theta^{(t)} - \eta \nabla_\theta J(\theta^{(t)})$

随机梯度下降（SGD）： $\theta^{(t+1)} = \theta^{(t)} - \eta \nabla_\theta L(y_i, f(\mathbf{x}_i; \theta^{(t)}))$

小批量梯度下降（Mini-batch GD）： $\theta^{(t+1)} = \theta^{(t)} - \eta \frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \nabla_\theta L(y_i, f(\mathbf{x}_i; \theta^{(t)}))$

4.3.2 动量方法#

标准动量： $\mathbf{v}^{(t+1)} = \mu \mathbf{v}^{(t)} + \eta \nabla_\theta J(\theta^{(t)})$ $\theta^{(t+1)} = \theta^{(t)} - \mathbf{v}^{(t+1)}$

Nesterov加速梯度： $\mathbf{v}^{(t+1)} = \mu \mathbf{v}^{(t)} + \eta \nabla_\theta J(\theta^{(t)} - \mu \mathbf{v}^{(t)})$ $\theta^{(t+1)} = \theta^{(t)} - \mathbf{v}^{(t+1)}$

4.3.3 自适应学习率方法#

AdaGrad： $G^{(t)} = G^{(t-1)} + (\nabla_\theta J(\theta^{(t)}))^2$ $\theta^{(t+1)} = \theta^{(t)} - \frac{\eta}{\sqrt{G^{(t)} + \epsilon}} \nabla_\theta J(\theta^{(t)})$

RMSprop： $G^{(t)} = \gamma G^{(t-1)} + (1-\gamma)(\nabla_\theta J(\theta^{(t)}))^2$ $\theta^{(t+1)} = \theta^{(t)} - \frac{\eta}{\sqrt{G^{(t)} + \epsilon}} \nabla_\theta J(\theta^{(t)})$

Adam算法及其收敛性分析：

算法步骤：

Adam算法的数学直觉：

1. 一阶矩估计：$\mathbf{m}^{(t)}$估计梯度的期望
2. 二阶矩估计：$\mathbf{v}^{(t)}$估计梯度平方的期望
3. 偏差修正：消除初始化偏差
4. 自适应学习率：$\frac{\eta}{\sqrt{\hat{\mathbf{v}}^{(t)}} + \epsilon}$

收敛性定理（Kingma & Ba, 2015）：

在以下假设下：

• 目标函数$f$有下界
• 梯度有界：$\|\nabla f(\theta^{(t)})\| \leq G$
• 梯度Lipschitz连续：$\|\nabla f(\theta_1) - \nabla f(\theta_2)\| \leq L\|\theta_1 - \theta_2\|$

Adam算法满足：

证明要点：

定义Regret：

通过分析Adam更新的期望，可以证明：

其中 $d$ 是参数维度，通过选择适当的 $\eta$ 可以得到 $O(\sqrt{T})$ 的regret界。

5.1.1 PAC学习理论#

PAC可学习性定义：

一个概念类 $\mathcal{C}$ 是PAC可学习的，如果存在算法 $A$ 和多项式函数 $poly(\cdot, \cdot, \cdot, \cdot)$，使得对于任意 $\epsilon, \delta \in (0, 1)$ 和任意分布 $D$，当样本数量 $m \geq poly(1/\epsilon, 1/\delta, n, size(c))$ 时，算法 $A$ 输出假设 $h$ 满足：

5.1.2 Rademacher复杂度#

定义： 对于函数类 $\mathcal{F}$ 和样本 $S = \{x_1, \ldots, x_m\}$，Rademacher复杂度定义为：

其中 $\sigma_i$ 是独立的Rademacher随机变量。

泛化界：

以概率至少 $1-\delta$，对所有 $f \in \mathcal{F}$：

5.2.1 损失函数的几何性质#

非凸优化挑战： 神经网络的损失函数是非凸的，存在多个局部最优解。

临界点分析： 设$L(\theta)$是损失函数，临界点满足： $\nabla L(\theta) = 0$

Hessian矩阵分析： $H = \nabla^2 L(\theta)$

• 如果$H \succ 0$（正定），则为局部最小值
• 如果$H \prec 0$（负定），则为局部最大值
• 如果$H$不定，则为鞍点

5.2.2 梯度下降的收敛性#

强凸函数的收敛率： 如果损失函数是$\mu$-强凸且$L$-光滑的，则梯度下降以线性速率收敛： $L(\theta^{(t)}) - L(\theta^*) \leq \left(1 - \frac{\mu}{L}\right)^t (L(\theta^{(0)}) - L(\theta^*))$

非凸情况的收敛性： 对于非凸但光滑的函数，梯度下降收敛到一阶稳定点： $\min_{0 \leq t \leq T} \|\nabla L(\theta^{(t)})\|^2 \leq \frac{2(L(\theta^{(0)}) - L(\theta^*))}{\eta T}$

5.3.1 网络容量的度量#

VC维： 神经网络的VC维与网络参数数量相关： $\text{VCdim}(\mathcal{F}) = O(W \log W)$

其中$W$是网络参数总数。

Rademacher复杂度界： 对于$L$层、每层最多$n$个神经元的ReLU网络： $\mathcal{R}_m(\mathcal{F}) = O\left(\frac{\sqrt{L \log(n)}}{\sqrt{m}}\right)$

5.3.2 过参数化理论#

神经正切核（NTK）理论： 在无限宽度极限下，神经网络的训练动态可以用神经正切核描述： $\Theta(\mathbf{x}, \mathbf{x}') = \mathbb{E}[\nabla_\theta f(\mathbf{x}; \theta_0) \cdot \nabla_\theta f(\mathbf{x}'; \theta_0)]$

彩票假设： 随机初始化的密集网络包含一个子网络（“中奖彩票”），当单独训练时，可以达到与原网络相当的性能。

6.1.1 权重初始化的理论基础#

Xavier初始化的数学推导：

考虑线性层$y = Wx + b$，假设输入$x_i$独立同分布，均值为0，方差为$\text{Var}(x)$。

为保持前向传播时方差稳定： $\text{Var}(y) = \text{Var}(Wx) = n_{in} \cdot \text{Var}(W) \cdot \text{Var}(x)$

要使$\text{Var}(y) = \text{Var}(x)$，需要： $\text{Var}(W) = \frac{1}{n_{in}}$

为保持反向传播时梯度方差稳定，需要： $\text{Var}(W) = \frac{1}{n_{out}}$

Xavier初始化综合考虑两个约束： $\text{Var}(W) = \frac{2}{n_{in} + n_{out}}$

He初始化专门针对ReLU激活函数，考虑到ReLU会使约一半神经元失活： $\text{Var}(W) = \frac{2}{n_{in}}$

6.1.2 批量归一化的理论分析#

内部协变量偏移问题： 训练过程中，由于参数更新，每层输入分布发生变化，导致训练不稳定。

批量归一化的数学表示： $\hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$ $y_i = \gamma \hat{x}_i + \beta$

其中$\mu_B$和$\sigma_B^2$是批量统计量。

理论效果：

1. 梯度流改善：归一化后的激活值分布稳定，减少梯度消失/爆炸
2. 学习率鲁棒性：允许使用更大的学习率
3. 正则化效应：批量统计量的随机性起到正则化作用

6.2.1 非凸优化的挑战与机遇#

损失函数的几何性质： 神经网络损失函数$L(\theta)$通常具有以下特点：

• 高维非凸
• 存在大量局部最优解
• 鞍点数量远多于局部最优解

逃离鞍点的理论： 对于二阶可微函数，如果$\nabla L(\theta) = 0$且Hessian矩阵$H$有负特征值，则$\theta$是鞍点。

定理（Lee et al., 2016）： 在随机扰动下，梯度下降算法几乎必然避开严格鞍点，收敛到局部最优解。

6.2.2 过参数化网络的优化理论#

线性化近似： 在过参数化情况下，网络在训练过程中变化很小，可以用初始化点处的线性化近似： $f(\mathbf{x}; \theta) \approx f(\mathbf{x}; \theta_0) + \nabla_\theta f(\mathbf{x}; \theta_0)^T (\theta - \theta_0)$

全局收敛保证： 当网络足够宽时，梯度下降能够找到全局最优解，收敛速度为线性。

6.3.1 双下降现象的数学解释#

经典偏差-方差分解： $\mathbb{E}[(f(\mathbf{x}) - y)^2] = \text{Bias}^2 + \text{Variance} + \text{Noise}$

双下降的数学模型： 在过参数化区域，虽然模型复杂度增加，但隐式正则化效应使得泛化误差再次下降。

插值阈值： 当参数数量等于训练样本数量时，模型刚好能够插值所有训练数据，此时泛化误差达到峰值。

6.3.2 隐式正则化的数学机制#

梯度下降的隐式偏置： 在过参数化线性模型中，梯度下降收敛到最小L2范数解： $\theta^* = \arg\min_{\theta: X\theta = y} \|\theta\|_2^2$

深度网络中的隐式正则化： 虽然理论分析更复杂，但实验表明深度网络也存在类似的隐式偏置，倾向于学习”简单”的函数。