論文の概要: Balancing Early Performance Sacrifices with Long-Term Gains: Scaling Learning-Rate Warmup Duration Across Training Horizons

• arxiv url: http://arxiv.org/abs/2609.33041v1
• Date: Sun, 27 Sep 2026 00:15:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:01:43.529787
• Title: Balancing Early Performance Sacrifices with Long-Term Gains: Scaling Learning-Rate Warmup Duration Across Training Horizons
• Title（参考訳）: 長期的ゲインと早期パフォーマンスのバランスをとる - トレーニングホライズン間の学習時間-ウォームアップ期間のスケーリング
• Abstract要約: 学習速度のウォームアップは言語モデルトレーニングにおける標準的なテクニックであるが、その持続時間は大部分が残っている。 一般的なアプローチでは、トレーニングが長くなるにつれて、スケーリングが非常に異なることを示す2つの選択肢がある。 本稿では,ピーク学習率に応答するモードが異なる2次モデルを用いて,この問題に対処する。
• 参考スコア（独自算出の注目度）: 10.325245543844245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning-rate warmup is a standard technique in language-model training, yet its duration remains largely heuristic. Common approaches use either a fixed number of updates or a fixed fraction of the training horizon, two choices that imply very different scaling as training gets longer. When should warmup stay fixed, and when should it grow with the horizon? We address this question with a quadratic model whose modes respond differently to the peak learning rate. Warmup slows progress in directions that already contract well at the peak rate, but can remove persistent error in directions near the stability edge, with higher peak rates shifting the balance toward longer warmup durations. This yields a compact horizon scaling law that captures regimes ranging from essentially no warmup, through fixed-duration warmup, to durations that grow with the training horizon, and explains how the preferred regime changes with peak learning rate. Because the law captures the tradeoff between giving up early progress and improving the trajectory that follows, it can be fit using shorter runs and used to predict warmup at substantially longer horizons. Together, our results explain several familiar properties of warmup through a single tradeoff and suggest treating warmup duration as a horizon-dependent hyperparameter rather than a fixed training heuristic.
• Abstract（参考訳）: 学習速度のウォームアップは言語モデルトレーニングにおける標準的なテクニックであるが、その持続時間は概ねヒューリスティックである。 一般的なアプローチでは、トレーニングが長くなるにつれて、スケーリングが非常に異なることを示す2つの選択肢がある。 ウォームアップはいつ、いつ、地平線で成長するのか? 本稿では,ピーク学習率に応答するモードが異なる2次モデルを用いて,この問題に対処する。 ウォームアップは、既にピーク速度で十分に収縮している方向の進行を遅らせるが、安定性エッジに近い方向の持続的な誤差を取り除くことができ、より高いピークレートはバランスをより長いウォームアップ期間にシフトさせる。 この法則は、基本的にウォームアップのない状態から固定デュレーションウォームアップ、トレーニング水平線で成長する期間、そして、学習速度のピークとともに好まれる体制がどう変化するかを説明する、コンパクトな水平線スケーリング法則をもたらす。 この法は、早期進行の放棄とそれに続く軌道の改善の間のトレードオフを捉えているため、短いランで適合し、かなり長い地平線でウォームアップを予測するのに使うことができる。 以上の結果から,温暖化期間を固定トレーニングヒューリスティックではなく水平方向依存型ハイパーパラメータとして扱うことが示唆された。

関連論文リスト

• WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training [18.733838876040537]
  最終線形を維持しつつ,WSDの定相を逆2乗根基に置き換える学習率スケジュールであるWSqDを提案する。 経験的に、WSqDは複数のトレーニング地平線をまたいだWSDや他のベースラインを注意深く調整し、1つのピーク学習率を再利用する。
  論文  参考訳（メタデータ） (2026-07-12T23:24:42Z)
• Towards Scaling Law Analysis For Spatiotemporal Weather Data [50.25336689856158]
  単一ステップのトレーニング損失から長期ロールアウトやチャネル単位のメトリクスまで,自動回帰天気予報のためのニューラルスケーリング分析を拡張した。 プールドスケーリングは望ましいように見えるが、多くのチャネルは遅延リードで劣化する。 本稿では,重み付け対象,地平線対応カリキュラム,出力間の資源配分について論じる。
  論文  参考訳（メタデータ） (2026-04-06T18:14:53Z)
• LIVE: Long-horizon Interactive Video World Modeling [39.52605866460851]
  Long-Horizon Interactive Video world modElは、新しいサイクル一貫性の目的を通じて境界付きエラー蓄積を実行する。 Liveはロングホライゾンベンチマークで最先端のパフォーマンスを達成し、ロールアウト期間のトレーニングを超えて、安定した高品質のビデオを生成する。
  論文  参考訳（メタデータ） (2026-02-03T17:10:03Z)
• Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging [70.05077723711618]
  本研究では, 1-32xChinchillaスケールで学習した言語モデルが時間とともに減衰し, 問題の発生源とキャパシティ条件によって減衰速度が決定されることを示した。 以上の結果から,重み付き平均化と地平線なしのステップサイズを組み合わせることで,大規模言語モデルの事前学習におけるコサイン学習率のスケジュールに代わる実用的で効果的な選択肢が得られることが示唆された。
  論文  参考訳（メタデータ） (2026-02-03T16:24:05Z)
• Egalitarian Gradient Descent: A Simple Approach to Accelerated Grokking [16.00639294713734]
  グラクキングは勾配降下の非対称速度によって引き起こされることを示す。 次に、すべての主方向に沿った力学が全く同じ速度で進化するように勾配を正規化する簡単な修正を提案する。 平等勾配勾配勾配 (EGD) と呼ばれるこの修正法は、自然勾配勾配勾配の慎重に修正された形態とみなすことができ、より高速である。
  論文  参考訳（メタデータ） (2025-10-06T15:40:36Z)
• Temporal horizons in forecasting: a performance-learnability trade-off [1.564538938595125]
  地平線が短すぎると長期的な傾向を見逃しかねないが、地平線は予測誤差の蓄積によって収束を妨げる。 カオスシステムでは、損失ランドスケープの粗さはトレーニングの地平線とともに指数関数的に増大する。 また,長い地平線でトレーニングしたモデルは短期的な予測によく当てはまるが,短い地平線でトレーニングしたモデルはカオス(周期的)システムにおいて指数関数的に(線形的に)悪い長期的な予測に苦しむ。
  論文  参考訳（メタデータ） (2025-06-04T12:34:22Z)
• Temporal Difference Flows [82.24174052059352]
  Geometric Horizon Models (GHMs) は、将来の状態を直接予測することで、魅力的な代替手段を提供する。 既存の手法は、列車時のブートストラップ予測や、長い地平線で高品質な予測を生成するのに苦慮している。 本稿では,従来の手法の水平長の5倍以上の精度で正確なGHMを学習するために,確率経路上の新しいベルマン方程式の構造を利用した時間差流(TD-Flow)を提案する。
  論文  参考訳（メタデータ） (2025-03-12T20:30:07Z)
• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)
• Balance is Essence: Accelerating Sparse Training via Adaptive Gradient Correction [29.61757744974324]
  ディープニューラルネットワークでは、メモリと計算コストが大幅に削減される。 スパーストレーニングは、これらのコストを削減する最も一般的な手法の1つである。 本研究では,この問題を克服し,時空協調効率の実現を目指す。
  論文  参考訳（メタデータ） (2023-01-09T18:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。