模型调优是围绕数据、特征、结构和训练四主线系统性做减法与校准，目标为真实场景中稳定、轻量、可解释。数据重清理与定向增强；特征分阶段验证；结构优先剪枝冻结；训练关注指标分布而非仅loss。
模型调优不是“多试几个超参”，而是围绕数据、特征、结构和训练过程四条主线系统性地做减法与校准——目标是让模型在真实场景中稳定、轻量、可解释地工作。
数据层面：先清理，再增强，不盲目扩量
多数性能瓶颈其实来自数据噪声或分布偏移。重点检查三类问题：标签不一致（如同一类样本被标成不同ID）、文本预处理不统一（繁简混用、空格/换行残留）、长尾类别样本过少但强行 oversample 导致过拟合。
建议操作：
- 用 spaCy 或 jieba 对原始文本做标准化分词+停用词过滤，再统计词频-逆文档频（TF-IDF）热力图，快速定位异常高频噪声词（如乱码、广告短语）
- 对少于5条的类别，不直接复制粘贴增强，改用回译（Chinese → English → Chinese）+ 同义词替换（基于同义词词林或 WordNet）生成语义合理的新样本
- 划分验证集时按“时间戳”或“来源域”切分，而非随机打乱，避免训练集泄露未来信息或跨平台偏差
特征工程：从规则到嵌入，分阶段验证有效性
别一上来就上 BERT。先用传统特征锚定基线：字符 n-gram（尤其对短文本分类有效）、句法依存路径（用于关系抽取）、领域关键词匹配得分（可用 TF-IDF 加权求和）。这些特征计算快、可解释强，能帮你快速判断任务本质是否适合深度学习。
建议操作：
- 把原始文本 + 规则特征（如“是否含疑问词”、“句末标点类型”）一起输入浅层 MLP，若 F1 提升超过 3%，说明规则信号强，后续微调预训练模型时可将这些特征作为额外输入通道
- 用 Sentence-BERT 得到句向量后，不做直接拼接，先用 PCA 降到 64 维，再通过 t-SNE 可视化验证聚类边界是否与业务逻辑一致（比如客服投诉应天然聚成几簇，而非均匀散落）
模型结构：剪枝比加宽更有效，冻结比重训更稳妥
在资源受限或上线延迟敏感的场景下，“小而准”优于“大而全”。BERT-base 有 12 层，但实际任务常只需前6–8层就能捕获足够语义；中文任务中，底层更关注字粒度，顶层偏向句法与语义整合，可针对性保留。
建议操作：
- 用 torch-pruning 工具对 Hugging Fac
e 模型做结构化剪枝：按注意力头重要性排序，逐层裁掉 bottom-20% 的 head，再微调 1–2 轮，参数量降 15% 通常不影响精度
- 下游任务微调时，先冻结全部 transformer 层（只训 classifier head），待 loss 稳定后再解冻最后2层，用 1/5 原始学习率继续训练——避免底层表征被破坏
- 部署前用 ONNX Runtime 转换模型，并开启 FP16 推理，实测在 CPU 上提速 1.8–2.3 倍，显存占用下降约 40%
训练策略：早停看趋势，梯度看分布，不只盯 loss
loss 下降≠模型变好。重点关注验证集上各类别的 precision/recall 平衡、预测置信度分布（理想情况应呈双峰：高置信正例 + 高置信负例，中间低置信区越窄越好）、以及梯度范数变化曲线（突增往往意味着 batch 内样本冲突或标签错误）。
建议操作：
- 早停条件设为“连续3轮 val_f1 无提升且 confidence_gap（正负例平均置信差）缩小”，比单纯看 f1 更鲁棒
- 每100步记录一次各层梯度 L2 范数，用 matplotlib 绘制热力图；若某几层梯度长期接近 0，说明该部分未被有效激活，可考虑替换为适配器（Adapter）结构替代全参数微调
- 用 Weights & Biases 或 TensorBoard 记录 learning rate、grad_norm、label_entropy（batch 内标签信息熵），三者联动分析训练健康度
基本上就这些。调优不是炫技，是不断问自己：这个改动是否解决了我真正卡住的问题？有没有更轻、更稳、更容易说清原因的替代方案？
e 模型做结构化剪枝：按注意力头重要性排序，逐层裁掉 bottom-20% 的 head，再微调 1–2 轮，参数量降 15% 通常不影响精度