論文の概要: LionMuon: Alternating Spectral and Sign Descent for Efficient Training

• arxiv url: http://arxiv.org/abs/2605.19811v1
• Date: Tue, 19 May 2026 13:07:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.356967
• Title: LionMuon: Alternating Spectral and Sign Descent for Efficient Training
• Title（参考訳）: LionMuon: 効率的なトレーニングのための代替スペクトルと手話
• Authors: Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov,
• Abstract要約: 平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。 固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。 シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
• 参考スコア（独自算出の注目度）: 48.69598464267559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large-scale optimization, the cheapness and effectiveness of update steps are the most crucial factors for a successful optimizer. Sign-based optimizers like Lion or Signum produce cheap per-step updates, whereas Muon's spectral matrix-sign update gives a much stronger direction at a substantially higher per-step cost. In this work, we propose LionMuon, which retains the effectiveness of Muon steps while considerably cutting the averaged iteration cost, similar to sign-based methods. It alternates between Lion's and Muon's updates on a fixed period P, sharing a single dual-EMA momentum buffer between them. The optimizer state memory therefore matches Lion and is exactly half of AdamW's. A simpler single-EMA variant, SignMuon, by itself already outperforms pure Muon. At P = 2, LionMuon Pareto-dominates Muon, Lion, Signum, and AdamW on every dataset and architecture we tested at 124M model size, reaching lower validation loss at lower compute, and the same advantage persists at 355M and 720M scale. On the theory side, we prove sharp complexity bounds under heavy-tailed noise which are governed by period-averaged smoothness and noise that interpolate between Muon's and Lion's constants. These bounds predict the compute-optimal period and the conditions under which LionMuon outruns Muon and Lion. Code: https://github.com/brain-lab-research/lion-muon
• Abstract（参考訳）: 大規模な最適化において、更新手順の安価さと有効性は、最適化を成功させる上で最も重要な要素である。 LionやSignumのような符号ベースのオプティマイザはステップ毎のアップデートを安価に生成するが、Muonのスペクトル行列符号更新はステップ毎のコストを大幅に高くする。 本研究では,符号ベースの手法と同様,平均イテレーションコストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。 固定周期 P におけるライオンとムーンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。 したがって、オプティマイザ状態記憶はライオンと一致し、AdamWのほぼ半分である。 単純なシングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。 P = 2で、LionMuon Pareto氏は124Mモデルサイズでテストしたすべてのデータセットとアーキテクチャについて、Muon、Lion、Signum、AdamWを支配下に置いた。 理論面では、ムオン定数とライオン定数の間に介在する周期平均的な滑らかさと雑音によって支配される重み付き雑音の下で、鋭い複雑性境界が証明される。 これらの境界は計算最適期間と、LionMuonがMuonとLionを追い越す条件を予測する。 コード:https://github.com/brain-lab-research/lion-muon

関連論文リスト

• MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models [45.11415579822849]
  アルゴリズムの安定性と数学的帰納率に基づくMuonの一般化誤差について検討する。 そこで我々は,Muonと運動量に基づくSGDのハイブリッドである勾配を用いて,有効混合Muon(MiMuon)を提案する。 我々のMiMuonアルゴリズムは、Muonアルゴリズムと同じコンバージェンスレートが$O(frac1NTbig)$である。
  論文  参考訳（メタデータ） (2026-05-19T09:56:27Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• Muon+: Towards Better Muon via One Additional Normalization Step [18.816463168231618]
  我々は,ミュオンの簡易かつ効果的な拡張,すなわちミュオン+を提案する。 モデルスケールとアーキテクチャの広範な事前学習実験を通じて,Muon+の有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-25T04:04:00Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
  機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
  論文  参考訳（メタデータ） (2025-09-30T10:04:08Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Symbolic Discovery of Optimization Algorithms [132.62397077095787]
  我々は,効率的な探索手法を用いて,無限小のプログラム空間を探索する。 提案手法は, 単純かつ効率的な最適化アルゴリズムである $textbfLion$ を探索する。 LionはGoogle検索広告CTRモデルのようなプロダクションシステムにうまくデプロイされている。
  論文  参考訳（メタデータ） (2023-02-13T20:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。