亚当怎么用：从参数到曲线

2026-07-06

亚当怎么用，关键不在复制一行optimizer代码，而在训练前定边界、训练中看信号、训练后能复盘。我通常把它拆成学习率、权重衰减、warmup、梯度裁剪和日志五件事，少一步都容易把问题看错。

我的起手式：先用AdamW，不急着炫技

问亚当怎么用，我的第一反应不是Adam，而是AdamW。除非是复现老论文或框架限制，现代项目里我会先写AdamW，把bias、LayerNorm、BatchNorm参数从weight_decay里排除。这个细节很小，但经常能减少莫名其妙的验证集波动。

PyTorch里常见写法是把参数分成decay和no_decay两组，再传给torch.optim.AdamW。小模型可以先用lr=1e-3或3e-4；预训练模型微调从2e-5附近起步。这个范围不是神数，只是能少踩明显离谱的坑。

我很少一上来就跑完整100个epoch。更实用的方法是先跑总训练量的5%到10%，扫3到4个学习率，看loss是否平滑下降、验证指标是否有反应、梯度是否频繁爆。这个短跑能省掉大量无效整夜训练。

如果loss第一轮就大幅震荡，先把学习率除以3或10；如果loss下降极慢而梯度正常，可以把学习率乘以3。Adam对学习率仍然敏感，只是比SGD容错高一点。把“自适应”理解成“不用调参”，是使用Adam最常见的误会。

会员专享，海量内容

在Transformer微调或大batch训练里，我通常会加warmup。前几百到几千步线性升学习率，再接余弦衰减或线性衰减。这样做的价值不是让曲线好看，而是避免模型初期参数状态还没稳定时被大步长推偏。

小数据集上warmup比例别太夸张。总共只有几千步训练，还拿20%做warmup，模型可能一直没真正进入有效学习。常见起点是3%到10%，再根据验证曲线调。

亚当怎么用才算用对？至少记录五项：训练loss、验证指标、当前学习率、梯度范数、weight_decay配置。只看loss，Adam很容易给你一种训练顺利的错觉，因为它确实擅长把训练目标压低。

我会特别留意训练loss继续下降但验证指标停住的阶段。这时不要本能地加epoch，先检查正则、数据增强、学习率衰减和早停。Adam不是越训练越好，后期过拟合有时来得比SGD更安静。

完整用法可以压成一句话：AdamW起步，短跑扫学习率，合理设置weight_decay和warmup，全程记录曲线，最后和一个强基线对比。做到这几步，Adam大概率会是高效工具；漏掉其中两步，它就可能变成难排查的黑箱。

真正的经验是克制。不要同时改学习率、beta、batch size和调度；不要只保存最好的那次截图；不要把默认参数传了就算完成训练。Adam好用，但它仍然只是优化器，项目质量最终还是落在数据、模型和评估上。

加入会员，海量资源任你看

常用torch.optim.Adam或torch.optim.AdamW。现代项目优先AdamW，并把归一化层和bias排除出weight_decay。

多数任务先用默认(0.9, 0.999)。如果小batch训练波动大，可尝试把beta2降到0.99或0.98，但一次只改一个变量。

序列模型、大模型微调和训练不稳定任务建议记录并尝试梯度裁剪。常见max_norm从1.0开始试。