論文の概要: Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training

• arxiv url: http://arxiv.org/abs/2610.40362v1
• Date: Thu, 29 Oct 2026 16:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.535249
• Title: Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training
• Title（参考訳）: LRスケジュールは原則化されないかもしれない: 軽量Normalized Trainingにおける効果的な学習率スケジューリング
• Abstract要約: 体重正規化(WN)トレーニングは、従来の体重減少(WD)に代わる魅力的な代替手段として出現している これらの利得は主に正規化のみによるものではなく、帰納的実効学習(ELR)軌道によるものであることを示す。 この原理に基づいて、理論上導出された1/sqrtt$崩壊とアフィン調整を組み合わせて所定のピークと終端LRを満たすAIR(Affine Inverse-square-Root decay)を提案する。
• 参考スコア（独自算出の注目度）: 16.08751429213424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight-normalized (WN) training is emerging as a compelling alternative to conventional weight decay (WD), with recent studies reporting substantial pretraining loss gains. We show that these gains are driven primarily by the induced effective learning rate (ELR) trajectory rather than by normalization alone. Matching ELR trajectories largely collapses the training loss dynamics of WN and WD. Schedule design should therefore target ELR rather than the nominal learning rate (LR) alone. Building on this principle, we propose AIR (Affine Inverse-square-Root decay), which combines a theoretically derived $1/\sqrt{t}$ decay with an affine adjustment to satisfy prescribed peak and terminal LRs over a finite training horizon. We further identify late-stage ELR scheduling as a key source of its gains, because a shared late schedule attenuates the effect of earlier LR choices. Experiments on 128 B-token Mixture-of-Experts pretraining demonstrate that AIR outperforms cosine and other candidate schedules in training loss, downstream performance, and hyperparameter robustness, reducing terminal training loss by approximately 0.01 relative to cosine at matched cumulative LR. Applying the same ELR trajectory to WD reproduces the corresponding training dynamics, showing that the benefits extend beyond fixed-norm training and establishing ELR as the principled scheduling object.
• Abstract（参考訳）: 体重正規化(WN)トレーニングは、従来の体重減少(WD)に代わる魅力的な代替手段として現れており、最近の研究では、かなりの事前訓練損失が報告されている。 これらの利得は主に正規化のみによるものではなく、帰納的実効学習(ELR)軌道によるものであることを示す。 ELR軌道のマッチングは、WNとWDのトレーニング損失ダイナミクスを大きく崩壊させる。 したがってスケジュール設計は、名目学習率(LR)のみではなく、ELRをターゲットにすべきである。 この原理に基づいて、理論上導出された1/\sqrt{t}$崩壊とアフィン調整を組み合わせたAIR(Affine Inverse-square-Root decay)を提案する。 さらに,従来のLR選択の影響を緩和するため,最終段階のELRスケジューリングが利得の鍵となることを確認した。 128 B-token Mixture-of-Expertsプレトレーニングの実験では、AIRはトレーニング損失、下流性能、ハイパーパラメータロバスト性においてコサインや他の候補スケジュールよりも優れており、一致した累積LRでのコサインと比較して、終端トレーニング損失を約0.01削減している。 同じELR軌道をWDに適用すると、トレーニングのダイナミクスが再現され、その利点は固定ノルムトレーニングを超えて、ELRを原則的スケジューリングオブジェクトとして確立することを示します。

関連論文リスト

• Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining [14.638843324365546]
  学習率(LR)とパラメータノルムは、その比率、有効学習率(ELR)を通して損失ダイナミクスを制御している ELRはランで一致し、LRとパラメータの基準がかなり異なるにもかかわらず、トレーニング中に損失軌跡は崩壊する。 崩壊エラーは通常、代表的な構成で測定された種子から種子までの変動より下の数 x 10-3 である。
  論文  参考訳（メタデータ） (2026-08-25T16:57:29Z)
• Beyond Precision: Training-Inference Mismatch is an Optimization Problem and Simple LR Scheduling Fixes It [24.70923739848818]
  トレーニングが進むにつれて,勾配雑音やトレーニング推論ミスマッチが増大することが明らかとなった。 更新サイズを小さくすることで、ミスマッチを効果的に抑制できることがわかった。 本稿では,学習率スケジューラという,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:00:53Z)
• On the Unreasonable Effectiveness of Last-layer Retraining [11.989603982988344]
  ラスト・レイヤ・リトレーニング(LLR)法は,スプリアス相関への依存を正すための効率的な手法として関心を集めている。 LLRはトレーニングセットの不均衡部分集合である場合でも、最悪のグループ精度を向上させることが判明した。 近年のアルゴリズムCB-LLRとAFRはグループバランスを暗黙的に行い、ロバスト性の向上を図っている。
  論文  参考訳（メタデータ） (2025-12-01T15:08:43Z)
• Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling [75.36692892951018]
  トレーニング中のバッチサイズの増加は、大規模な言語モデルの事前トレーニングを加速するための有望な戦略である。 この研究はバッチサイズスケジューリングのための原則化されたフレームワークを開発する。 標準スケジューラが学習率を半減するたびに、Seesawは1/sqrt2$と倍増し、バッチサイズを倍増します。
  論文  参考訳（メタデータ） (2025-10-16T14:17:38Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• An Adaptive Volatility-based Learning Rate Scheduler [0.0]
  VolSchedは、幾何学的ブラウン運動のようなプロセスにおけるボラティリティの概念にインスパイアされた、新しいLRスケジューラである。 長期精度と短期精度のボラティリティの比を計算することで、VolSchedはLRを高原から脱出させ、訓練を安定させるために減少させる。
  論文  参考訳（メタデータ） (2025-07-11T05:45:53Z)
• Efficient local linearity regularization to overcome catastrophic overfitting [59.463867084204566]
  単段階逆行訓練におけるカタストロフィックオーバーフィッティング(CO)は、逆行性テスト精度(最大0%まで)の急激な低下をもたらす。 我々は,従来のAT評価においてCOを効果的かつ効率的に緩和するために,ELLEと呼ばれる正規化項を導入する。
  論文  参考訳（メタデータ） (2024-01-21T22:55:26Z)
• On the Weight Dynamics of Deep Normalized Networks [5.250288418639077]
  ディープニューラルネットワークの層間の効果的な学習率(ELR)の相違は、トレーニング容易性に悪影響を及ぼす可能性がある。 正規化層を持つネットワークの重み力学をモデル化することにより、これらの相違が時間とともにどのように進化するかを定式化する。 一定の学習率のトレーニングでは,初期勾配の爆発にもかかわらず,ELR比が1に収束することが証明された。
  論文  参考訳（メタデータ） (2023-06-01T14:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。