論文の概要: LionMuon: Alternating Spectral and Sign Descent for Efficient Training

• arxiv url: http://arxiv.org/abs/2609.35297v2
• Date: Mon, 05 Oct 2026 14:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.222969
• Title: LionMuon: Alternating Spectral and Sign Descent for Efficient Training
• Title（参考訳）: LionMuon: 効率的なトレーニングのための代替スペクトルと手話
• Abstract要約: LionMuon は 1 つの Muon ステップを P$ イテレーション毎に、LionMuon は 2 つの EMA 運動量バッファを両方で共有する。 FineWebでトレーニングされた124Mと355Mのモデルでは、$P=2$と$P=5$のLionMuonは、同じ数のトークンでMuon、AdamW、Lion、Signumよりも低損失となる。
• 参考スコア（独自算出の注目度）: 48.69598464267559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining a language model takes enormous compute, and the right optimizer can save a good part of it. Muon's spectral step gives a stronger direction than a sign step, but it is expensive. Every step runs Newton-Schulz iterations on the full matrix and, in distributed training, an extra all-reduce. Sign steps, as in Lion and Signum, are cheap and stay local to each device. We propose LionMuon, which takes one Muon step every $P$ iterations and Lion steps in between, with a single dual-EMA momentum buffer shared by both. Muon's compute and communication are paid once per $P$ steps, and the optimizer state is half of AdamW's. A single-EMA variant, SignMuon, already improves on Muon. We prove complexity bounds under heavy-tailed noise in which the period sets an interpolation between Muon's and Lion's smoothness and noise constants, and which say when LionMuon is faster than both. On 124M and 355M models trained on FineWeb, LionMuon with $P=2$ and $P=5$ reaches a lower loss than Muon, AdamW, Lion and Signum at the same number of tokens. Under 4-GPU data-parallel training it reaches Muon's final loss with a third less wall-clock on PCIe, and it beats the communication-efficient Muon variants Dion and MuonBP on loss at no more exposed communication, while keeping the exact gradient. Code: https://github.com/brain-lab-research/lion-muon
• Abstract（参考訳）: 言語モデルの事前トレーニングには膨大な計算が必要です。 ムオンのスペクトルステップは、サインステップよりも強い方向を与えるが、高価である。 すべてのステップは、フルマトリックス上でNewton-Schulzイテレーションを実行し、分散トレーニングでは、余分な全リデュースを実行します。 LionやSignumのようなサインステップは安価で、各デバイスにローカルに留まる。 LionMuon は 1 つの Muon ステップを P$ イテレーション毎に、LionMuon は 2 つの EMA 運動量バッファを両方で共有する。 Muonの計算と通信は$P$ステップ毎に1回支払い、オプティマイザ状態はAdamWのの半分である。 シングルEMA版であるSignMuonは、すでにMuonで改善されている。 重み付き雑音の下では、周期がムオンとライオンの滑らかさと雑音定数を補間し、例えばライオンムーンが両方よりも速いときの複雑性境界が証明される。 FineWebでトレーニングされた124Mと355Mのモデルでは、$P=2$と$P=5$のLionMuonは、同じ数のトークンでMuon、AdamW、Lion、Signumよりも低損失となる。 4GPUのデータ並列トレーニングの下では、PCIeの3分の1のウォールクロックでMuonの最終損失に達し、正確な勾配を維持しながら、通信効率のよいMuon変種であるDionとMuonBPを損失で打ち負かす。 コード:https://github.com/brain-lab-research/lion-muon

関連論文リスト

• Dion3: Full-Stack Orthogonal Updates [39.76588854070093]
  Dion3は、スタックのすべてのレベルでこのオーバーヘッドを目標とする、Muonの改訂版です。 Dion3は、Muonが達成した損失を改善するが、ステップタイムを最大6倍に短縮する。
  論文  参考訳（メタデータ） (2026-08-12T03:42:40Z)
• Muon Meets Mamba: Spectral Optimization for State Space Models [39.146761527401424]
  我々はMuonとMamba-2130MのAdamWを比較する。 出力プロジェクション上のミューオンは、入力プロジェクションまたはその両方でミューオンに打ち勝つ。 条件付けは利得を説明しない。Muonは、それが訓練される射影の条件数を下げるが、より良い条件付き入力射影は助けとなるものではない。
  論文  参考訳（メタデータ） (2026-08-04T17:10:47Z)
• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
  平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。 固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。 シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
  論文  参考訳（メタデータ） (2026-05-19T13:07:59Z)
• MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models [45.11415579822849]
  アルゴリズムの安定性と数学的帰納率に基づくMuonの一般化誤差について検討する。 そこで我々は,Muonと運動量に基づくSGDのハイブリッドである勾配を用いて,有効混合Muon(MiMuon)を提案する。 我々のMiMuonアルゴリズムは、Muonアルゴリズムと同じコンバージェンスレートが$O(frac1NTbig)$である。
  論文  参考訳（メタデータ） (2026-05-19T09:56:27Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• Muon+: Towards Better Muon via One Additional Normalization Step [18.816463168231618]
  我々は,ミュオンの簡易かつ効果的な拡張,すなわちミュオン+を提案する。 モデルスケールとアーキテクチャの広範な事前学習実験を通じて,Muon+の有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-25T04:04:00Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。