論文の概要: Hybrid Momentum Methods for Optimizing Deep Learning Models

• arxiv url: http://arxiv.org/abs/2610.27674v1
• Date: Tue, 20 Oct 2026 05:39:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.664375
• Title: Hybrid Momentum Methods for Optimizing Deep Learning Models
• Title（参考訳）: ディープラーニングモデル最適化のためのハイブリッドモーメント法
• Abstract要約: 過去の勾配の線形重み付け平均と幾何的に割引された高速運動量を組み合わせたハイブリッドモーメントを導入する。 画像分類、機械翻訳、言語モデリング全般において、HyMとHyMUONは強いベースラインにマッチするか、改善される。
• 参考スコア（独自算出の注目度）: 42.57688280732918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Momentum is central to stochastic optimization in deep learning, including the training of large language models. Classical momentum methods typically rely on a fast exponential moving average (EMA) scheme, which discounts past gradients on a fixed timescale and may underweight older gradients that remain informative. This creates a trade-off between retaining long-term history and adapting to recent changes. We introduce Hybrid Momentum (HyM), which combines a linearly weighted average of past gradients with a geometrically discounted fast momentum. The former assigns weights proportional to the gradients' iteration indices and retains a growing span of history, while the latter emphasizes recent gradients. This hybrid construction is modular and can be combined with adaptive preconditioning and other update transformations. In particular, we propose HyMUON, which applies Newton--Schulz orthogonalization to the hybrid direction. Illustrative examples and controlled experiments demonstrate the benefits of combining gradient information across these two timescales. Across image classification, machine translation, and language modeling, HyM and HyMUON match or improve upon strong baselines. HyMUON improves over Muon on IWSLT14, and in both the 100k- and 600k-step GPT-2 124M OpenWebText regimes. For LLaMA-1.3B pretraining on C4, HyMUON achieves a final validation loss of 2.777, compared with 2.903 for Muon.
• Abstract（参考訳）: Momentumは、大規模な言語モデルのトレーニングを含む、ディープラーニングにおける確率的最適化の中心である。 古典的な運動量法は典型的には高速指数移動平均 (EMA) スキームに依存しており、これは固定された時間スケールでの過去の勾配を減らし、情報的のままの太い古い勾配を減らしている。 これにより、長期的な歴史を維持することと、最近の変化に適応することの間にトレードオフが生じます。 過去の勾配の線形重み付け平均と幾何的に割引された高速運動量を組み合わせたハイブリッドモーメント(Hybrid Momentum, HyM)を導入する。 前者は勾配の反復指数に比例して重みを割り当て、後者は最近の勾配を強調する。 このハイブリッド構造はモジュール構造であり、適応型プレコンディショニングや他の更新変換と組み合わせることができる。 特に、ニュートン-シュルツ直交化をハイブリッド方向に適用するHyMUONを提案する。 図示的な例と制御された実験は、これらの2つの時間スケールで勾配情報を組み合わせる利点を実証している。 画像分類、機械翻訳、言語モデリング全般において、HyMとHyMUONは強いベースラインにマッチするか、改善される。 HyMUONは、IWSLT14上のMuonと、100kステップと600kステップのGPT-2 124M OpenWebTextレジームの両方で改善されている。 C4 上での LLaMA-1.3B の事前訓練では、HyMUON は Muon の 2.903 と比較して2.777 の最終的な検証損失を達成している。

関連論文リスト

• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Fantastic Pretraining Optimizers and Where to Find Them II: Hyperball Optimization [67.29294986811314]
  Muon のようなマトリックスベースは言語モデルの事前学習を著しく高速化するが、AdamW に対する利得は標準の一定重量減衰を用いると縮小する。 この問題に対処するシンプルなラッパーであるHyperballを提案する。 Qwen3スタイルモデルでは、最大1.2Bパラメータで、Muon Hyperballはウェイト崩壊ベースラインよりも20-30%のトークン等価なスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-06-15T16:09:02Z)
• MuonBP: Faster Muon via Block-Periodic Orthogonalization [24.232069944820513]
  ベースラインからMuonBPへの学習率の調整方法を示し、このアルゴリズムの保証を与える。 8方向テンソルテンソルとZeROによる8Bモデルのトレーニングでは、ムオンBPは8%のムオンを達成でき、性能は劣化しない。
  論文  参考訳（メタデータ） (2025-10-19T19:56:05Z)
• An Exploration of Non-Euclidean Gradient Descent: Muon and its Many Variants [38.56190531594778]
  MuonMax は学習速度の選択に敏感であるのに対して,私たちが MuonMax と呼ぶ新しい変種は,はるかに堅牢である。 我々は、勾配非ユークリッド法とモデルベース運動量(モモとして知られる)を組み合わせる方法を示す。
  論文  参考訳（メタデータ） (2025-10-10T19:57:49Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Dale meets Langevin: A Multiplicative Denoising Diffusion Model [13.954816561132942]
  計算神経科学の最近の進歩は、標準勾配勾配勾配最適化の定式化における学習が生物学的システムの学習と一致していないことを示している。 そのようなアプローチの1つは、Daleの法則に着想を得たものであり、これは、シナプスは学習の過程で役割を交換しない、というものである。 非負のデータに対して,Hyvaerinenが提案する損失関数を仮定して,乗法的 denoising score-matching の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-10-03T05:23:33Z)
• Conda: Column-Normalized Adam for Training Large Language Models Faster [70.66067959375748]
  Column-Normalized Adam (Conda)は、大規模言語モデル(LLM)に対する新しいアプローチである。 Condaはサブスペースに更新を投影し、投影された勾配に基づいてカラムワイズ第2モーメント正規化を適用する。 LLaMAとGPT-2シリーズの実験では、コンダはトレーニング前のAdamW、Muon、その他のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-29T02:58:19Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Flatter, faster: scaling momentum for optimal speedup of SGD [0.0]
  ニューラルネットワークのトレーニングにおいて、勾配降下(SGD)とラベルノイズと運動量との相互作用から生じるトレーニングダイナミクスについて検討した。 運動量ハイパーパラメータ1-NISTbeta$を学習率で2/3$にスケーリングすると、一般化を犠牲にすることなく、最大で2/3$のトレーニングが加速することがわかった。
  論文  参考訳（メタデータ） (2022-10-28T20:41:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。