論文の概要: MeqMuon: Matrix-Equilibrating Muon for LLM Pretraining
- arxiv url: http://arxiv.org/abs/2609.35701v1
- Date: Mon, 28 Sep 2026 17:41:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 19:34:50.736282
- Title: MeqMuon: Matrix-Equilibrating Muon for LLM Pretraining
- Title（参考訳）: MeqMuon: LLMプレトレーニング用マトリックス等価ミューオン
- Abstract要約: 我々は,LLMプレトレーニングのための改良されたMumonを提案し,その改良版であるUnderlinematrix-underlineequilibrating Muon(MeqMuon)を提案する。
MeqMuonは、手動で介入することなく、異なる不均衡パターンに自動的に調整できる正規化を通じて、行と列の大きさのバランスをとる。
- 参考スコア（独自算出の注目度）: 25.86092823376269
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The success of large language models (LLMs) has been accompanied by continued growth in model size and pretraining costs. Muon offers high accuracy and training efficiency in LLM pretraining. Recent work introduces row-wise normalization into Muon to balance update magnitudes and improve pretraining performance. However, row-wise normalization alone cannot accommodate different imbalance patterns in update matrices. In this paper, we propose an improved Muon optimizer, called \underline{m}atrix-\underline{eq}uilibrating Muon~(MeqMuon), for LLM pretraining. MeqMuon balances both row and column magnitudes through normalization that can be automatically tailored to different imbalance patterns without manual intervention. Moreover, MeqMuon eliminates the need to store AdamW's second-moment estimates, reducing optimizer-state memory usage. Empirical results demonstrate that MeqMuon achieves better convergence performance than AdamW, Muon, and other baselines in LLM pretraining.
- Abstract（参考訳）: 大規模言語モデル(LLM)の成功は、モデルのサイズと事前訓練コストの継続的な増加と伴う。
Muon は LLM プレトレーニングにおいて高い精度とトレーニング効率を提供する。
最近の研究は、Muonに行ワイド正規化を導入し、更新の規模を調整し、事前学習性能を改善する。
しかし、行の正規化だけでは更新行列で異なる不均衡パターンに対応できない。
本稿では,LLMプレトレーニングのための改良されたMuonオプティマイザである \underline{m}atrix-\underline{eq}uilibrating Muon~(MeqMuon)を提案する。
MeqMuonは、手動で介入することなく、異なる不均衡パターンに自動的に調整できる正規化を通じて、行と列の大きさのバランスをとる。
さらに、MeqMuonはAdamWの2番目のモーメント推定を保存する必要をなくし、オプティマイザ状態のメモリ使用量を削減している。
実験結果から,MeqMuonは,LLM事前学習におけるAdamW,Muon,その他のベースラインよりも収束性能がよいことが示された。
関連論文リスト
- DMuon: Efficient Distributed Muon Training with Near-Adam Overhead [13.192517400076746]
DMuonはオープンソースの分散Muon実装で、既存のトレーニングパイプラインをドロップインモジュールとして統合します。
DMuonは、エンドツーエンドのステップタイムで1.48x-3.01xのスピードアップ、ステップタイムで6.85x-163.00xのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-25T15:23:03Z) - LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。
固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。
シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
論文 参考訳（メタデータ） (2026-05-19T13:07:59Z) - NuMuon: Nuclear-Norm-Constrained Muon for Compressible LLM Training [50.27276603708547]
フルランク更新を行うにもかかわらず,無音訓練モデルでは重み行列の低ランク構造が顕著に示され,標準パイプラインで容易に圧縮可能であることを示す。
更新方向の核ノルム制約でミューオンを増強し,低ランク構造への学習重み付けをさらに制限するNuMuonを提案する。
論文 参考訳（メタデータ） (2026-03-04T00:10:14Z) - Variance-Adaptive Muon: Accelerating LLM Pretraining with NSR-Modulated and Variance-Scaled Momentum [19.385264518362472]
大規模言語モデル(LLM)は、多種多様な自然言語処理(NLP)タスク間の競合性能を達成する。
モーメントに分散適応正規化を適用するMuon-NSRとMuon-VSの2つの変種を提案する。
GPT-2 と LLaMA プレトレーニング実験により,提案手法は収束を加速し,AdamW と Muon の両ベースラインの競合よりも連続的に検証損失を減少させることを示した。
論文 参考訳（メタデータ） (2026-01-21T02:41:56Z) - MARS-M: When Variance Reduction Meets Matrices [47.405031764674014]
マトリックスベースのプレコンディショニングは、大規模なニューラルネットワークのためのスカラーベースのプレコンディショニングよりも効率的であることが示されている。
我々は,MARSにおける分散低減手法をMuonと統合する新しい手法であるMARS-Mを紹介する。
言語モデリングとコンピュータビジョンタスクにおける実験結果から、MARS-Mは、様々な下流ベンチマークにおいて、一貫して損失を減らし、性能を向上することを示した。
論文 参考訳（メタデータ） (2025-10-20T16:49:22Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - REG: A Regularization Optimizer for Robust Training Dynamics [24.850151895583494]
RACS(Row-and-Column-Scaling)オペレータは、更新ステップをより劇的な方法で正規化することにより、既存のトレーニングダイナミクスの実装が簡単になり、互換性が向上する。
我々は,我々のREGがAdamWよりも優れた性能と安定性を達成できることを実証すると同時に,AdamWトレーニングパラダイムとの整合性も維持する。
論文 参考訳（メタデータ） (2025-10-04T06:05:57Z) - Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。
我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
論文 参考訳（メタデータ） (2025-09-30T10:04:08Z) - AdaMuon: Adaptive Muon Optimizer [11.281916426508216]
AdaMuonは、要素の適応性と、大規模なニューラルネットワークトレーニングのための直交更新を組み合わせる。
AdaMuonは安定性を維持しているが、大規模シナリオではAdamを40%以上のトレーニング効率で上回ることができる。
論文 参考訳（メタデータ） (2025-07-15T05:49:37Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。