論文の概要: Scale Weight Decay and Train Better

• arxiv url: http://arxiv.org/abs/2607.23777v1
• Date: Sun, 26 Jul 2026 17:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.224426
• Title: Scale Weight Decay and Train Better
• Title（参考訳）: 体重減少とトレーニングの改善
• Abstract要約: 本稿では,ピーク学習率$/_max$のごく一部で重量減衰を拡大することを提案する。 このことは、勾配降下と非ユークリッドミューオンの両方に対して、対応する非正規化手法の定常性を保証することを証明している。 定常状態解析を用いて、標準ウェイト崩壊下では、トレーニングが進むにつれて、ウェイトノルムが着実に低下するのに対し、スケールされたウェイト崩壊では、ほぼ一定値に落ち着く理由を説明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The discovery of scaling laws has motivated training neural networks on ever increasing quantities of data. This is typically done with a constant decoupled weight decay which causes the network weights to shrink steadily over the course of training. Taking inspiration from the Robbins--Monro conditions, we propose to scale weight decay by the fraction of the peak learning rate $η/η_{\max}$. We prove that this scaled weight decay preserves the asymptotic stationarity guarantees of the corresponding unregularized methods for both stochastic gradient descent and the non-Euclidean spectral optimizer Muon, thereby avoiding the additional asymptotic bias introduced by constant decoupled weight decay. This retains the stability benefits of weight decay without changing the asymptotic optimization target. Using a steady-state analysis, we explain why under standard weight decay the weight norm shrinks steadily as training proceeds, whereas under scaled weight decay it settles to a roughly constant value. When applied to the training of mixture-of-experts models, Muon with scaled weight decay (Muon-SW) consistently outpaces Muon with identical hyperparameters, reaching the same validation loss $\mathbf{30\%}$ faster at our largest scale across models from $72 - 930$ million parameters trained at $\sim 600$ tokens per active parameter. If this trend continues to hold, the method promises to substantially accelerate the pre-training of frontier models while requiring only a few lines of code to implement.
• Abstract（参考訳）: スケーリング法則の発見は、ますます増加するデータに対して、ニューラルネットワークをトレーニングする動機となった。 これは典型的には、トレーニングの過程でネットワークの重みが着実に縮むような、一定に分離された重みの崩壊によって行われる。 ロビンス-モンロ条件から着想を得て、ピーク学習率$η/η_{\max}$の分で重量減衰を拡大することを提案する。 このスケールした重み劣化は、確率勾配降下と非ユークリッドスペクトルオプティマイザムオンの両方に対して、対応する非正規化手法の漸近定常性を保証することを証明し、したがって、一定の解離重み劣化によって生じる漸近バイアスを回避する。 これは漸近最適化目標を変更することなく、重量減衰の安定性の利点を保っている。 定常状態解析を用いて、標準ウェイト崩壊の下では、トレーニングが進むにつれてウェイトノルムが着実に低下するのに対し、スケールされたウェイト崩壊では、ほぼ一定の値に落ち着く理由を説明する。 実験用混合モデルのトレーニングに適用した場合、スケールドウェイト崩壊(Muon-SW)を持つMuonは、同一のハイパーパラメーターでムオンを常に上回り、同じバリデーション損失である$\mathbf{30\%}$を、有効パラメータあたり$\sim 600$トークンでトレーニングされたパラメータ$72から$930$ millionのモデルで最大スケールで高速化する。 この傾向が保たれている場合、このメソッドは、実装にわずか数行のコードしか必要とせず、フロンティアモデルの事前トレーニングを大幅に加速することを約束する。

関連論文リスト

• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• Learning to Forget: Continual Learning with Adaptive Weight Decay [30.558842015806363]
  有限能力の連続学習エージェントは、新しい知識の獲得と古い知識の保持のバランスをとる必要がある。 ウェイト崩壊は、忘れるメカニズムと見なされ、ウェイトに格納された情報を徐々に破棄することで、この役割を果たすことができる。 本稿では, パラメータごとの減量率を近似的メタ勾配降下法によりオンラインに適応させる適応減衰法(Adaptive Decay, FADE)について紹介する。
  論文  参考訳（メタデータ） (2026-04-29T18:01:13Z)
• PathProx: A Proximal Gradient Algorithm for Weight Decay Regularized Deep Neural Networks [25.114642281756495]
  ウェイト崩壊(Weight decay)は、ディープラーニングにおいて最も広く使われている正規化形式の一つである。 本稿では、勾配勾配勾配は、この目的に対して非効率なアルゴリズムであると主張している。 ReLUアクティベーションを持つニューラルネットワークの場合、重み劣化対象に対する解は異なる目的の解と等価である。
  論文  参考訳（メタデータ） (2022-10-06T17:22:40Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Perspective [90.39123717733334]
  そこで本研究では,Shduled Weight Decay (SWD) 法と呼ばれる,減量のための最初の実用的なスケジューラを提案する。 我々の実験は、SWDが実際に大きな勾配ノルムを緩和し、適応モーメント推定(Adam)の従来の定重崩壊戦略を著しく上回っていることも裏付けている。
  論文  参考訳（メタデータ） (2020-11-23T00:39:49Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。