論文の概要: SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales

• arxiv url: http://arxiv.org/abs/2607.20548v1
• Date: Mon, 13 Jul 2026 21:47:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.228565
• Title: SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales
• Title（参考訳）: SOAP, Muon, その他: LLMプレトレーニングスケールの推進
• Abstract要約: Muon や SOAP のような高次の LLM は、AdamW よりも高速な収束を提供するが、計算コストと数値安定性の課題は、大規模に採用されることが限られている。 我々は,大規模LLM事前訓練体制の実践的課題を克服するために,事前条件付き手法を適応し,強化する。
• 参考スコア（独自算出の注目度）: 48.03325171473355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Higher-order optimizers such as Muon and SOAP offer faster convergence than AdamW, but their computational cost and numerical stability challenges have limited adoption at scale. In this work, we adapt and enhance preconditioned gradient methods to overcome the practical challenges of large-scale LLM pretraining. We first identify instabilities in SOAP at large batch sizes and propose algorithmic modifications including per-step QR orthogonalization and improved preconditioning strategies that eliminate loss spikes and enable stable training in these regimes. We then present a unified empirical study of SOAP, Muon, and AdamW using update-RMS matching to ensure fair learning rate transfer across optimizers. As part of this analysis, we empirically evaluate the orthogonalization quality of Muon. Our experiments on multi-billion-parameter models trained on trillions of tokens reveal that SOAP and Muon consistently outperform AdamW at the scales we tested. Notably, at batch sizes of up to 100M tokens for next-token prediction, these optimizers maintain training stability and quality while AdamW degrades. To enable efficient training at large scale, we introduce a layer-wise distributed optimizer compatible with Megatron-LM. Our implementation balances memory and hides communication while avoiding approximations to the optimizer computations, thus retaining their convergence benefits. Additionally, we identify and build specific system-level improvements to further accelerate our layer-wise implementation. To support the research community, we release a codebase that contains emerging algorithms for optimization: https://github.com/NVIDIA-NeMo/Emerging-Optimizers
• Abstract（参考訳）: Muon や SOAP のような高次のオプティマイザは、AdamW よりも高速な収束を提供するが、計算コストと数値安定性の課題は、大規模に採用されることが限られている。 本研究では,大規模LLMプレトレーニングの実践的課題を克服するために,事前条件付き勾配法を適応し,拡張する。 まず,大規模なバッチサイズでSOAPの不安定性を識別し,ステップごとのQR直交化や,損失スパイクを排除し,これらのレシスタンスで安定したトレーニングを可能にするプリコンディショニング戦略の改善など,アルゴリズムによる修正を提案する。 次に、更新RMSマッチングを用いて、SOAP、Muon、AdamWの統一的な実証的研究を行い、オプティマイザ間の公正な学習率の伝達を保証する。 この分析の一環として,Muonの直交化品質を実証的に評価した。 数兆単位のトークンでトレーニングされたマルチビリオンパラメータモデルに関する我々の実験は、SOAPとMuonがテストしたスケールでAdamWを一貫して上回っていることを示しています。 特に、次のトーケン予測のために最大1億トークンのバッチサイズで、これらのオプティマイザはトレーニングの安定性と品質を維持し、AdamWは分解する。 大規模で効率的なトレーニングを実現するため,Megatron-LMと互換性のあるレイヤワイド分散オプティマイザを提案する。 我々の実装はメモリのバランスを保ち、オプティマイザの計算に対する近似を避けながら通信を隠蔽し、収束の利点を維持する。 さらに、レイヤワイドの実装をさらに加速するために、特定のシステムレベルの改善を特定し、構築する。 研究コミュニティをサポートするために、私たちは、最適化のための新しいアルゴリズムを含むコードベースをリリースした。

関連論文リスト

• Beyond Adam: SOAP and Muon for Faster, Label-Efficient Training of Machine Learning Interatomic Potentials [0.5714512533033075]
  我々は、NequIPとAllegro MLIPモデルをトレーニングするために、最近提案されたMuon、SOAP、ハイブリッドSOAP-Muonを含むマトリックス構造化のクラスを実装し、比較する。 これらの結果は、収束速度と最終的な精度の両方において、Adamを著しく上回ります。
  論文  参考訳（メタデータ） (2026-07-02T17:57:31Z)
• Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales [55.91454326946738]
  学習速度と減量率の最適化は,幅広い言語に対して,モデルの幅と深さでどのようにスケールするかを検討する。 我々は、$Pによる学習率のスケーリングは転送を改善するが、それでもかなりの有限幅偏差に悩まされる可能性があることを見出した。 計算-最適スケーリングでは、独立したウェイト崩壊が1/mathrmwidth$で言語間でほぼ最適であることが分かる。
  論文  参考訳（メタデータ） (2025-12-05T11:03:41Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order [39.25335214877435]
  ダウンストリームタスクに事前訓練されたモデルを適用するには、微調整大型言語モデル(LLM)が不可欠である。 従来の一階述語アルゴリズムは、モデルサイズであまりスケールしない、禁止的なメモリと計算コストを発生させる。 メモリと計算効率の代替としてゼロオーダー(ZO)最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T20:27:17Z)
• Gradient Multi-Normalization for Stateless and Scalable LLM Training [16.037614012166063]
  大規模言語モデル(LLM)のトレーニングは通常、コンバージェンスを加速するために追加のステート情報を格納するAdamのようなアダプティブに依存している。 SWAN (Ma et al., 2024) のような最近の取り組みは、状態の必要性を排除し、瞬時勾配に適用したマルチステップ前処理手順により、Adamに匹敵する性能を達成することでこの問題に対処している。 複数の基準に従って勾配を正規化するステートレス勾配を設計するための新しいフレームワークを導入する。最大10億のパラメータを持つ事前学習LLaMAモデルの実験は、Adamよりも3倍のスピードアップを示し、メモリ要求を大幅に削減し、他のメモリ効率のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-10T18:09:53Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.67982828148859]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [45.64632177923583]
  本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。 未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
  本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。 これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
  論文  参考訳（メタデータ） (2020-06-21T21:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。