第10章 训练与调参：交叉验证、优化器、损失与正则

1. 模型参数与超参数

在统计与神经网络模型中，有两类量需要严格分开：

• 模型参数（Parameters）：由优化算法在训练数据上直接拟合出的内部变量，例如线性分类器的权重 $w$ 和偏置 $b$、词嵌入矩阵 $E$、LSTM 的门控权重矩阵。
• 超参数（Hyperparameters）：在启动训练前由外部设定的配置，用于控制模型结构或训练过程，例如折数 $K$、嵌入维度 $d$、隐藏层宽度、学习率 $\eta$、批大小（batch size）、训练轮数（epochs）、正则化系数 $\lambda$、梯度裁剪阈值以及 dropout 比例。

超参数不能放到训练集损失里和模型参数一起直接求导最小化——如果按训练集分数挑选超参数，模型总是倾向于容量最大、正则最弱的配置，最终导致过拟合。因此，超参数必须依靠独立的验证集或交叉验证来选择。

2. K 折交叉验证与防泄漏边界

评估模型与挑选超参数时，第一步是先切出最终测试集（test set）锁存起来，在剩余的开发集上做 $K$ 折交叉验证（$K$-fold cross-validation）：

1. 将开发集随机打乱并均分为 $K$ 个互斥子集（折，folds）；
2. 每次留出其中 1 折作为验证集，其余 $K-1$ 折合起来作为训练集；
3. 在训练折上从头拟合预处理与模型，在验证折上计算评估指标；
4. 轮流对全部 $K$ 折重复上述过程，用 $K$ 次验证分数的均值和波动评估当前超参数配置；
5. 选出最优超参数后，用全部开发集样本重新训练一次最终模型，最后在测试集上做唯一一次评估。

折数 $K$ 的常见选择有 $K=5$ 或 $K=10$（兼顾偏差、方差与训练开销）；极端情形 $K=n$（每次只留 1 个样本验证）称为留一法（Leave-One-Out, LOO），几乎无偏但需要训练 $n$ 次模型。

例1： 共有 1000 条标注文本，拟比较 6 组超参数配置。

• 先留出 20%（200 条）作为最终测试集；
• 剩余 800 条做 5 折交叉验证，每轮用 $800\times\frac45=640$ 条训练、$160$ 条验证；
• 6 组配置 $\times$ 5 折共需训练 $30$ 次；
• 选定平均验证分数最高的一组配置后，在全部 800 条开发集上重训 1 个模型，最后在 200 条测试集上给出最终指标。

划分数据时还要注意三条防泄漏红线：

• 所有依赖语料统计的预处理必须在训练折内部拟合：词表、IDF 权重、特征选择、均值方差标准化以及 SVD/PCA 投影矩阵，都只能用当前训练折的 640 条计算，再把学到的变换直接应用到验证折。如果先拿全部 1000 条文本算好 TF-IDF 再分折，验证集和测试集的词频分布就已经泄漏进了训练特征。
• 类别不平衡时用分层划分（Stratified K-Fold）：保持每一折的类别比例与总体一致（前提是最小类别的样本数不少于折数 $K$）。
• 同源片段或时序数据不能随机打散：若同一篇长文档被切成多段，或同一位用户的多条评论并存，必须按文档/用户 ID 做分组划分（Group K-Fold），防止近似重复片段同时出现在训练折和验证折；若任务是用历史数据预测未来趋势，则必须按时间先后切分。

关于数据泄漏的常见陷阱可进一步参考 scikit-learn 常见陷阱与防泄漏文档。

3. 用 Pipeline 锁住每一折的拟合边界

在代码中防止预处理泄漏最稳妥的做法，是把向量化器与分类器封装进同一个 Pipeline。这样 GridSearchCV 在每一折内部调用 fit 时，都会只用当前训练折重新统计词表和 IDF：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipeline
from sklearn.model_selection import train_test_split, StratifiedKFold, GridSearchCV

def train_and_evaluate(texts, labels):
    x_train, x_test, y_train, y_test = train_test_split(
        texts, labels, test_size=0.2, stratify=labels, random_state=7)
    pipe = Pipeline([("tfidf", TfidfVectorizer()), ("clf", LinearSVC())])
    cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=7)
    search = GridSearchCV(pipe, {
        "tfidf__ngram_range": [(1, 1), (1, 2)],
        "clf__C": [0.1, 1.0, 10.0],
    }, scoring="f1_macro", cv=cv, n_jobs=1)
    search.fit(x_train, y_train)
    return search.best_params_, search.predict(x_test), y_test

注意：上面示例直接使用了默认的 TfidfVectorizer()，其默认词级正则提取长度至少为两个字符的 Unicode 词字符片段，不会自动为连续中文做词语切分；这里用于英文文本；**如果处理中文语料，切勿直接把未分词的中文整句原样喂给默认 TfidfVectorizer**（否则整句连写汉字会被当成一个长词，单字还会被默认规则过滤），而应先接中文分词器传入自定义 tokenizer，或改设 analyzer="char" / "char_wb" 提取字符 n-gram。此外，由于使用了 5 折分层划分，训练集中每个类别至少要有 5 条样本。

4. 损失函数：二元交叉熵与多类交叉熵

评估指标（如 F1、准确率）往往因为包含离散阈值与取整而不可微，模型训练时真正通过梯度最小化的是可微的损失函数（loss function）。

1. 二元交叉熵（Binary Cross-Entropy, BCE / Log Loss） 用于二分类任务。设样本 $i$ 的真实标签为 $y_i\in\{0,1\}$，模型预测其为正类的概率为 $p_i\in(0,1)$，$N$ 个样本的平均损失为：

例2： 两个样本的真实标签与预测概率分别为 $(y_1,p_1)=(1,0.8)$、$(y_2,p_2)=(0,0.6)$。第二个样本真实为 0，它分到真实类别的概率是 $1-0.6=0.4$，因此：

2. 分类交叉熵（Categorical Cross-Entropy, CCE） 用于单标签多分类（共 $C$ 类，通常配合输出层 softmax）。设 $y_{ic}\in\{0,1\}$ 为样本 $i$ 的 one-hot 标签，$p_{ic}$ 为预测属于第 $c$ 类的概率：

因为每个样本只有一个真实类别 $c^*$ 满足 $y_{ic^*}=1$，内层求和只剩 $-\ln p_{ic^*}$ 一项。例如某样本在真实类别上的预测概率为 $0.7$，则该样本的损失为 $-\ln0.7\approx0.3567$。若是多标签分类（一篇文档可同时打上多个不互斥标签），则应对每个标签独立输出 sigmoid 并按二元交叉熵求和，而不是用 softmax 强行让所有标签概率加和为 1。

工程实现中，框架通常提供将线性层 logits 与对数 softmax / sigmoid 合并计算的融合损失（如 BCEWithLogitsLoss、CrossEntropyLoss），既省去显式取指数再取对数的冗余，又能防止 $p_i\to 0$ 时出现 $\ln 0$ 数值溢出。

5. 梯度下降、批大小（Batch Size）与训练轮数（Epochs）

设第 $t$ 步参数为 $\theta_t$，目标函数对参数的梯度为 $g_t=\nabla_\theta L(\theta_t)$，学习率（步长）为 $\eta>0$，基本梯度下降更新为：

• 当 $\dfrac{\partial L}{\partial\theta_j}>0$ 时，增大 $\theta_j$ 会使损失上升，因此减去 $\eta g_{t,j}$ 向左移动；
• 当 $\dfrac{\partial L}{\partial\theta_j}<0$ 时，增大 $\theta_j$ 会使损失下降，减去负数正好向右移动。

例3： 设单参数损失 $L(\theta)=(\theta-3)^2$，初始值 $\theta_0=1$，学习率 $\eta=0.1$。在 $\theta_0=1$ 处导数为 $g_0=2(1-3)=-4$，一步更新后：

损失从 $(1-3)^2=4$ 下降到 $(1.4-3)^2=2.56$。若学习率 $\eta$ 设得过大（例如 $\eta>1$），一步更新就会跨过谷底 $\theta=3$ 跳到对面更高处，引发震荡甚至发散；若 $\eta$ 设得过小，则每步移动极慢，需要耗费大量迭代。

按每次计算梯度所用的样本数量，梯度下降分为三种模式：

• 全批量梯度下降（Batch GD）：每步遍历全部训练集算精确梯度，方向稳但数据集大时单步极其耗时；
• 单样本随机梯度下降（狭义 SGD）：每步只抽 1 个样本，更新快但梯度方差大；
• 小批量梯度下降（Mini-batch SGD）：每步抽取 batch_size 个样本（如 32、64、128）算平均梯度，兼顾 GPU 并行吞吐率与收敛稳定性。

一个 epoch（训练轮数） 指把整个训练集完整遍历一遍。设训练集有 $1000$ 个样本，取 batch_size = 64 且保留最后不足 64 的尾批，则每 1 个 epoch 包含 $\lceil 1000/64\rceil=16$ 次参数更新（steps / iterations）。因此，把 batch_size 调大一倍而保持 epoch 数不变时，实际发生的参数更新步数会减少一半，对比实验时要同时留意总更新步数。

6. 自适应优化器：RMSProp 与 Adam

在词表特征或深层序列网络中，不同参数维度的梯度量级往往相差悬殊：高频词和浅层权重的梯度经常很大，低频词或深层权重的梯度却很小。统一使用同一个固定学习率 $\eta$ 很难兼顾所有维度。

1. RMSProp RMSProp 为每个参数分量维护梯度平方的指数滑动平均 $v_t$（衰减率 $\beta\in(0,1)$，常写作 $\gamma$），并用 $\sqrt{v_t}$ 对当前梯度做逐坐标缩放：

其中 $\epsilon$（如 $10^{-8}$）用于防止除以 0。近期梯度平方越大的坐标，$v_t$ 越大，有效步长 $\eta/\sqrt{v_t}$ 就自动缩小，从而抑制该方向上的震荡。

例4： 设 $v_0=0,\ \beta=0.9,\ \eta=0.1$，第一步梯度 $g_1=2$（忽略极小的 $\epsilon$）：

2. Adam（Adaptive Moment Estimation） Adam 同时维护梯度的一阶动量（均值估计 $m_t$）和二阶原点矩（未中心化的平方梯度估计 $v_t$）。由于 $m_0=0,v_0=0$，在训练刚开始的前几步，$m_t$ 和 $v_t$ 都会严重偏向 0，因此 Adam 引入了针对时间步 $t$ 的偏差校正（bias correction）：

例5： 设初始参数 $\theta_0=2$，$m_0=v_0=0$，取常用超参数 $\beta_1=0.9,\ \beta_2=0.999,\ \eta=0.1$，第一步梯度 $g_1=2$（忽略 $\epsilon$）：

1. 未校正矩：$m_1=(1-0.9)\times2=0.2$，$v_1=(1-0.999)\times2^2=0.004$；
2. 偏差校正（$t=1$）：$\widehat m_1=\dfrac{0.2}{1-0.9^1}=2$，$\widehat v_1=\dfrac{0.004}{1-0.999^1}=4$；
3. 更新参数：$\theta_1=2-0.1\times\dfrac{2}{\sqrt4}=2-0.1=1.9$。

注意看：在 $t=1$ 时，偏差校正恰好把 $1-\beta_1$ 和 $1-\beta_2$ 约掉，使得 $\widehat m_1=g_1,\ \widehat v_1=g_1^2$，在梯度非零、忽略 $\epsilon$ 且没有其他更新项的这个例子中，第一步更新量就是 $-\eta\operatorname{sign}(g_1)$。如果不做偏差校正，由于 $1-\beta_2=0.001$ 远小于 $1-\beta_1=0.1$，直接算 $m_1/\sqrt{v_1}=0.2/\sqrt{0.004}\approx3.162$，第一步步长会无端放大 3 倍以上。另外，$v_t$ 是梯度平方的滑动平均（二阶原点矩），并没有减去均值 $m_t^2$。

7. 梯度裁剪：按值裁剪与按范数裁剪

训练 RNN/LSTM 等序列模型时，偶发的陡峭损失面可能让某一步梯度突然暴涨。梯度裁剪（Gradient Clipping）在优化器执行更新前对梯度设置上限，常见有两种方式：

• 按值裁剪（Clipping by Value）：指定阈值 $c>0$，将每个梯度分量独立截断到区间 $[-c,c]$ 内，即 $g_j\leftarrow\min(\max(g_j,-c),\,c)$。
• 按范数裁剪（Clipping by Norm）：指定范数上限 $c>0$，当整个梯度向量的欧氏范数 $\lVert g\rVert_2>c$ 时，将整个向量按比例缩小到长度 $c$，即 $g\leftarrow g\cdot\min\left(1,\,\dfrac{c}{\lVert g\rVert_2}\right)$。

例6： 设梯度向量 $g=(3,4)^T$，其欧氏范数为 $\lVert g\rVert_2=\sqrt{3^2+4^2}=5$，取裁剪阈值 $c=2$：

• 按范数裁剪：因为 $5>2$，整体乘以 $2/5$，得到 $g_{\text{norm}}=(1.2,1.6)^T$。裁剪后范数恰好为 $2$，且两个分量的比值仍为 $3:4$，完全保留了原始下降方向。
• 按值裁剪：两个分量都超过 $2$，被双双截成 $g_{\text{val}}=(2,2)^T$。此时不仅范数变成了 $\sqrt{2^2+2^2}=\sqrt8\approx2.83>2$，而且方向变成了 $1:1$，改变了梯度方向。

8. 过拟合与正则化

当训练轮数过多或模型容量远超数据规模时，常见现象是：训练损失持续下降，而验证集损失见底后开始反弹恶化。除了扩充数据、简化特征外，常用的三类正则化手段是：

1. 早停（Early Stopping）：每个 epoch 结束时监控验证集指标；若验证集表现在连续若干轮（patience）内不再提升，就提前终止训练，并恢复验证集表现最好那一轮的模型权重。注意早停的判断依据必须是验证集，决不能用最终测试集来决定何时停下。
2. Dropout：训练期间每次前向传播以概率 $p$ 将神经元的激活随机置 0，迫使网络不依赖少数神经元的固定协同（co-adaptation）。现代框架普遍采用 inverted dropout：训练时对保留下来的神经元除以 $1-p$ 放大，推断（测试）时关闭随机丢弃、直接原样通过，从而保证训练与推断的激活期望一致。
   • 例7： 某神经元原始激活为 $2$，丢弃率 $p=0.25$（保留率 $1-p=0.75$）。训练时它以 $0.25$ 的概率输出 $0$，以 $0.75$ 的概率输出 $2/0.75=8/3$，期望为 $0.25\times0+0.75\times\frac83=2$；测试时直接输出 $2$。
3. 权重衰减（Weight Decay / L2 正则化）：在损失函数后加上参数平方和惩罚 $\frac{\lambda}{2}\lVert\theta\rVert_2^2$，求导后梯度多出一项 $\lambda\theta$，抑制过大的权重。在标准 SGD 中，这等价于每次更新前先把权重乘以 $(1-\eta\lambda)$ 做线性衰减，即 $\theta_{t+1}=\theta_t-\eta(g_t+\lambda\theta_t)=(1-\eta\lambda)\theta_t-\eta g_t$。但在 Adam 等自适应优化器中，直接往损失里加 L2 项会让 $\lambda\theta_t$ 也一起被 $\sqrt{\widehat v_t}$ 缩放；若想保持纯粹的权重衰减，应使用解耦权重衰减的 AdamW。

自测