論文の概要: Delayed Effects of Temporary Weight Decay in Muon Pretraining
- arxiv url: http://arxiv.org/abs/2611.17876v1
- Date: Fri, 13 Nov 2026 08:05:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.333655
- Title: Delayed Effects of Temporary Weight Decay in Muon Pretraining
- Title(参考訳): ムーン事前訓練における一時体重減少の遅延効果
- Abstract要約: 一時的な最適化の介入は、最終トレーニング予算で終了しても検証損失を減少させる可能性がある。
162M, 405M, 1.4B, 3.4Bパラメータを持つ無音訓練デコーダのみの変圧器において, 一時的な重み劣化がみられた。
- 参考スコア(独自算出の注目度): 30.36867819603547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A temporary optimization intervention can increase validation loss when it ends yet reduce it at the final training budget. We demonstrate this with temporary weight decay in Muon-trained decoder-only Transformers with 162M, 405M, 1.4B, and 3.4B parameters. For models up to 1.4B parameters, moving a fixed-duration decay window from early to late training reverses its final effect. At 162M, changing window duration alters final loss even at approximately matched total shrinkage. Most strikingly, a schedule selected at 162M and transferred without retuning to 1.4B is 0.26 nats worse than no decay when removed, overtakes it only after 73% of training, and ultimately finishes 0.028 nats better while also outperforming the best sampled constant-decay baseline. Early decay leaves a persistent weight-norm deficit, which keeps relative steps larger after the intervention ends. An approximate norm-dynamics recurrence captures the slow convergence of these relative steps, and fixed-norm replays of the measured trajectories reproduce the performance ordering and a similar loss difference. At 162M and 405M, norm-reset experiments show that smaller weight norms at the end of the decay window explain most of the final loss improvement. A separate Gram intervention exhibits related post-removal norm and relative-step dynamics. These results show that temporary optimization schedules can have delayed effects long after removal and should therefore be evaluated at the intended final training budget, not only at removal.
- Abstract(参考訳): 一時的な最適化の介入は、最終トレーニング予算で終了しても検証損失を減少させる可能性がある。
162M, 405M, 1.4B, 3.4Bパラメータを持つ無音訓練デコーダのみの変圧器において, 一時的な重み劣化がみられた。
1.4Bパラメータまでのモデルでは、固定デュレーションの減衰窓を早期から後期のトレーニングに移すと最終的な効果が逆になる。
162Mでは、ウィンドウの長さを変えることで、ほぼ一致する全収縮でも最終的な損失が変化する。
最も注目すべきは、162Mで選択され1.4Bに調整せずに転送されるスケジュールは、除去されたときの崩壊よりも0.26ナットが悪化し、訓練の73%後にしか上回らず、最終的には0.028ナットが良く終了し、最も優れたサンプリングされた定数デカイベースラインを上回っていることである。
初期の崩壊は、介入が終わった後も相対的なステップを大きく保つ、持続的な重量-ノルムの欠陥を残している。
近似ノルム力学の再発は、これらの相対的なステップの緩やかな収束を捉え、測定された軌跡の固定ノルム再生は、性能順序と同様の損失差を再現する。
162Mと405Mでは、標準リセット実験により、崩壊窓の端の小さな重みノルムが最終的な損失改善のほとんどを説明することが示されている。
別々のグラハム介入は、除去後のノルムと相対的なステップのダイナミクスを示す。
これらの結果から, 一時最適化スケジュールは削除後長期の遅延効果を生かし, 最終トレーニング予算において, 除去時に限らず, 評価すべきであることが示唆された。
関連論文リスト
- The Role of Quantization in Loss Spikes [70.74108854506768]
言語モデルの事前トレーニングにおける損失の急増は、実質的な計算と脱線を無駄にし、そうでなければ健全なトレーニング実行を無駄にする可能性がある。
これらの不安定性の第一の要因は、最終言語モデリング(LM)ヘッドにおける出力ロジットの成長と分散である。
これらの不安定性は、LMヘッドの量子化誤差が急速に増加し、最終的に損失スパイクに終止符が打たれることに先行している。
論文 参考訳(メタデータ) (2026-10-28T04:53:13Z) - ORCA: The Annealed Spectral Conditioning Optimizer for Faster, Better LLM Training [53.2695917834445]
ORCA(Orthogonal Regularization, Cooled Regularization, Cooled After Regularization, ORCA)は,訓練の初期段階において,強いが一時的なソフトな直交正規化を適用して除去する最小限の介入である。
ORCAはMuonよりも最終検証損失が低い。
ムオンに対する損失減少は、アダムに対するムオンの損失減少と一致するか、あるいは超える。
論文 参考訳(メタデータ) (2026-10-05T10:47:59Z) - Risk-Calibrated Proposal Transport for Finite-Particle Diffusion Steering [6.216444388609131]
リスクキャリブレーション提案輸送(RCPT)は、削除された残余を使い、可変制御ガイダンス更新の保持部分の校正を行う。
RCPTは、分子領域と画像領域にまたがる有害な更新を緩和する。
論文 参考訳(メタデータ) (2026-10-03T00:26:15Z) - Two-Stage Personalized Gait Phase Estimation in Stroke Survivors During Exoskeleton-Assisted Walking: An Offline Feasibility Study [0.7734726150561086]
機能的慣性計測器(IMU)アライメントと2段階逐次適応を用いた脳卒中生存者の歩行位相推定について検討した。
トランスフォーマーは、最も低い最終誤差(2.90 +- 1.13$%)とヒールストライクタイミング誤差(23.7 +-4.5ms)を達成した。
その結果,エクソスケルトン支援歩行のためのフレームワークのオフライン実現可能性と組込み計算タイミングが支持された。
論文 参考訳(メタデータ) (2026-09-14T03:42:40Z) - Scale Weight Decay and Train Better [0.0]
本稿では,ピーク学習率$/_max$のごく一部で重量減衰を拡大することを提案する。
このことは、勾配降下と非ユークリッドミューオンの両方に対して、対応する非正規化手法の定常性を保証することを証明している。
定常状態解析を用いて、標準ウェイト崩壊下では、トレーニングが進むにつれて、ウェイトノルムが着実に低下するのに対し、スケールされたウェイト崩壊では、ほぼ一定値に落ち着く理由を説明する。
論文 参考訳(メタデータ) (2026-07-26T17:55:40Z) - Exactness Matters for Physical Rule Enforcement [4.230349220081444]
より強い物理ルールの執行がいつ信頼できるか、いつそれが流通シフトの源となるかは、まだ不明である。
この問題は作用素の正確性(すなわち、補修写像が対象多様体上の恒等写像であるかどうか)を通して研究する。
制御ミスマッチ、スクリーニングされたクリーンアップ、アダプティブゲーティング、および外部バックボーンチェックは、最適な近似登録操作ポイントが生またはほぼ同一であることを示す。
論文 参考訳(メタデータ) (2026-05-08T07:59:59Z) - Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。
この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。
標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
論文 参考訳(メタデータ) (2025-10-16T14:17:38Z) - Cautious Weight Decay [23.198565281737896]
Cautious Weight Decay (CWD) は、1行の非依存的な修正であり、符号が更新に一致したパラメータのみに重み減衰を適用する。
CWDはAdamW、Lion、Muonなどの座標のドロップイン変更である。
言語モデルの事前トレーニングとImageNet分類では、CWDは最終的な損失と精度を一貫して改善する。
論文 参考訳(メタデータ) (2025-10-14T11:32:55Z) - On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective [90.39123717733334]
そこで本研究では,Shduled Weight Decay (SWD) 法と呼ばれる,減量のための最初の実用的なスケジューラを提案する。
我々の実験は、SWDが実際に大きな勾配ノルムを緩和し、適応モーメント推定(Adam)の従来の定重崩壊戦略を著しく上回っていることも裏付けている。
論文 参考訳(メタデータ) (2020-11-23T00:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。