論文の概要: Towards Understanding Momentum Acceleration in River-Valley Loss Landscape

• arxiv url: http://arxiv.org/abs/2609.30957v1
• Date: Fri, 25 Sep 2026 08:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.287655
• Title: Towards Understanding Momentum Acceleration in River-Valley Loss Landscape
• Title（参考訳）: リバー・ヴァレー・ロスランドスケープにおけるモメンタム加速の理解に向けて
• Abstract要約: 我々は,バニラGDで許容できない大きな学習速度を安定化させることにより,運動量がどのように最適化を促進するかを検討する。 インターンでの学習が可能になったことで、川沿いの速度が向上し、長期的にはより速く本質的な進歩を遂げる。
• 参考スコア（独自算出の注目度）: 24.719935641909384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The empirical success of pretraining large language models has inspired a deeper investigation into the underlying loss landscapes and the optimization dynamics. Recent empirical and theoretical study suggest that the training loss landscape often exhibits a "river-valley" structure, which features a low-loss manifold (river) flanked by sharp orthogonal directions with higher loss (mountains). In the long term, the optimization progress is determined primarily by the progress along the river. Within such a landscape, gradient descent with large learning rates can move faster along the river despite high apparent loss due to vertical oscillations, while a subsequent sharp decay in the learning rate suppresses these oscillations, revealing genuine optimization progress. This explains the recent success of warmup-stable-decay (WSD) learning rate scheduler which, unlike cosine scheduling, keeps stable high learning rate and decays before producing intermediate checkpoints. Building on this foundation, in this work we take a step further and study the role of momentum within such a loss landscape. We establish theoretical analysis that characterizes how momentum accelerates optimization by stabilizing large learning rates that can not be tolerated by vanilla GD without deviating significantly from the river. The enabled large learning rate in-turn gives greater speed along the river and makes faster essential progress in the long run. Another intriguing observation from theory is that for a river-valley landscape with very flat and slow-spinning river, the momentum itself does not contribute directly to acceleration in terms of the speed of tracking the river, while the main acceleration comes from the admissible larger learning rate.
• Abstract（参考訳）: 大規模言語モデルの事前学習による実証的な成功は、下層の損失状況と最適化のダイナミクスを深く研究するきっかけとなった。 最近の経験的および理論的研究は、トレーニング損失の風景は、しばしば、高い損失(山)を持つ鋭い直交方向で側面に低損失の多様体(川)を特徴とする「リバー・ヴァレー」構造を示すことを示唆している。 長期的には、最適化の進行は主に川沿いの進行によって決定される。 このような景観の中では、鉛直振動による顕著な損失にもかかわらず、大きな学習率の勾配降下は川に沿って速く移動するが、その後の学習速度の急激な減衰はこれらの振動を抑制し、真の最適化の進展を示す。 これは、コサインスケジューリングとは異なり、中間チェックポイントを生成する前に、安定した高い学習率と減衰を維持できるウォームアップ安定型学習速度スケジューラ(WSD)の成功を説明する。 この基礎の上に構築されたこの研究は、さらに一歩進んで、そのような失われた風景の中での運動量の役割について研究する。 我々は,河川から著しく逸脱することなく,バニラGDで許容できない大きな学習速度を安定化させることにより,運動量がどのように最適化を加速するかを特徴付ける理論解析を確立した。 インターンでの学習が可能になったことで、川沿いの速度が向上し、長期的にはより速く本質的な進歩を遂げる。 もう1つの興味深い観測は、非常に平坦で緩やかな河川を持つ川谷の景観において、その運動量そのものが川を追尾する速度に直接寄与しないのに対して、主な加速度は許容可能なより大きな学習速度から来ているということである。

関連論文リスト

• Towards Understanding the Power and Limits of the Muon Optimizer: A River-Valley Perspective [12.959531584997462]
  近年、ムオンはアダムのようなニュアンスに代えて魅力的な存在として注目されている。 本稿では,センサオペレータを信号,スパイク,バルク成分に分解した混合スパイク行列センシングモデルを提案する。 本研究は,学習の初期段階において,ムオンが情報量の多い川方向に沿ってより速く移動することを示す。
  論文  参考訳（メタデータ） (2026-06-19T15:10:20Z)
• On the Learning Dynamics of RLVR at the Edge of Competence [86.52481827737097]
  検証可能な報酬(RLVR)による強化学習は、大規模な推論モデルにおける最近のブレークスルーの主要な要因である。 コンポジション推論タスクにおける変圧器のRLのトレーニング力学の理論を開発する。
  論文  参考訳（メタデータ） (2026-02-16T16:03:08Z)
• Mpemba Effect in Large-Language Model Training Dynamics: A Minimal Analysis of the Valley-River model [0.0]
  大規模言語モデル(LLM)トレーニングにおける学習速度のスケジュールは、ウォームアップ、一定のプラトー/安定フェーズ、崩壊といった経験的なテンプレートに従うことが多い。 トレーニング力学をMpemba効果を介して熱力学的アナログに接続する。 我々は、ある失われた風景に対して、最適な高原学習率、すなわち「強いムペンバ点」が存在することを示す。
  論文  参考訳（メタデータ） (2025-07-06T01:34:12Z)
• Understanding Optimization in Deep Learning with Central Flows [95.5647720254338]
  複雑な状態における最適化のダイナミクスを記述できる理論を開発する。 この結果から,ディープラーニングの最適化を推論する上で,中央フローが重要な理論ツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)
• Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates [67.19481956584465]
  飽和を伴う分散トレーニング(SGD)の効率は、バッチサイズと、実装における停滞に決定的に依存することが実験的に観察されている。 結果がタイトであることを示し、数値実験で重要な結果を示しています。
  論文  参考訳（メタデータ） (2021-03-03T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。