論文の概要: When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark

• arxiv url: http://arxiv.org/abs/2610.21555v1
• Date: Thu, 15 Oct 2026 09:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.300622
• Title: When Does Muon Actually Win? A Paired Data-, Time-, and Tuning-Budget Benchmark
• Title（参考訳）: Muonが実際に勝つのはいつか? データ、時間、チューニング予算ベンチマーク
• Abstract要約: Muonのデータ効率の向上は、そのパフォーマンスを明示的なデータ、時間、チューニング予算の下で評価する動機となっている。 一般的な23候補開発予算は、5つのマッチした種子で評価された構成を選択する。 ミューオンは曲線下のバリデーション・ロス面積を3.25--22.44%削減する。
• 参考スコア（独自算出の注目度）: 2.0415910628419063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon's gains in data efficiency motivate evaluating its performance under explicit data, time, and tuning budgets. On a single A100 GPU, we compare a reference single-device Muon implementation with AdamW across 17.7M- and 33.6M-parameter causal language models and 2.70M-parameter vision transformers. A common 23-candidate development budget selects configurations evaluated with five matched seeds, full validation trajectories, optimizer-step timing, and a frozen one-shot test. Muon reduces validation-loss area under the curve by 3.25--22.44\% at equal data and lowers test loss in all 20 primary pairs. In this configuration, Muon improves time-normalized loss area} by 19.68--22.31\% on vision, while AdamW is better by 3.38--6.96\% on language. The full Muon optimizer call, including auxiliary AdamW updates, consumes 56.1--69.6\% of training time, compared with 6.1--9.1\% for the AdamW baseline. Muon also has higher expected regret under restricted access to these candidate pools. These results characterize small models with reference kernels; their wall-clock ordering does not establish a ranking for larger models or optimized implementations.
• Abstract（参考訳）: Muonのデータ効率の向上は、そのパフォーマンスを明示的なデータ、時間、チューニング予算の下で評価する動機となっている。 単一のA100 GPU上では、17.7Mと33.6Mの因果言語モデルと2.70Mの視力変換器をAdamWと比較する。 一般的な23候補の開発予算では、5つのマッチしたシード、完全な検証軌道、オプティマイザステップのタイミング、凍結したワンショットテストで評価された構成を選択する。 Muon は曲線下のバリデーション損失面積を等しいデータで 3.25-22.44 % 削減し、20個のプライマリペアすべてでテスト損失を減少させる。 この構成では、ムーンは視覚では19.68--22.31\%、言語では3.38--6.96\%、時間正規化損失領域は19.68--22.31\%改善している。 補助的なAdamW更新を含むフルミューオンオプティマイザコールは、トレーニング時間の56.1--69.6\%を消費し、AdamWベースラインでは6.1--9.1\%を消費する。 Muonはまた、これらの候補プールへのアクセスを制限することで、より高い後悔を期待している。 これらの結果は、参照カーネルを持つ小さなモデルの特徴であり、ウォールクロックの順序付けは、より大きなモデルや最適化された実装のランキングを確立しない。

関連論文リスト

• Monarch-Muon: Structure-Aware Muon for Fast and Memory-Efficient Pretraining [92.01217521476444]
  我々は、モナール因子によってパラメータ化される構造化行列認識であるモナール・ムーンを提案する。 結果として、重み、勾配、状態が減少し、小さな独立した更新サブプロブレムが露出する。 品質面では、Monarch-MuonはMonarch-AdamWを固定構造で改善する。
  論文  参考訳（メタデータ） (2026-10-12T21:41:39Z)
• Scaling Muon for Diffusion Transformers [32.20758643343064]
  行列対応のMuonは、一方向にわたる更新のバランスをとることで、大規模なモデルトレーニングを改善するが、そのスケーリング動作と、大規模なトランスフォーマー(DiT)のエンドツーエンド効率は、まだ不明である。 まず、1.3B から 15B のパラメータから DiT 上の Muon のスケーリング挙動を定式化し、AdamW に対する最適化と生成的品質上の利点がモデルスケールにわたって持続していることを示した。 各ステップ(K)毎にNS5スペクトルをフルに更新し、残りのステップにおける現在の運動量に基づく低計算・通信コストの行制限更新を適用する周期的Row-wise Muonを導入する。
  論文  参考訳（メタデータ） (2026-08-21T07:40:28Z)
• LionMuon: Alternating Spectral and Sign Descent for Efficient Training [48.69598464267559]
  平均コストを大幅に削減しつつ,Muonのステップの有効性を維持するLionMuonを提案する。 固定周期 P におけるライオンとムオンの更新を交互に行い、その間に1つのデュアルEMA運動量バッファを共有する。 シングルEMAのSignMuonは、それ自体が純粋なMuonを上回っている。
  論文  参考訳（メタデータ） (2026-05-19T13:07:59Z)
• MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models [45.11415579822849]
  アルゴリズムの安定性と数学的帰納率に基づくMuonの一般化誤差について検討する。 そこで我々は,Muonと運動量に基づくSGDのハイブリッドである勾配を用いて,有効混合Muon(MiMuon)を提案する。 我々のMiMuonアルゴリズムは、Muonアルゴリズムと同じコンバージェンスレートが$O(frac1NTbig)$である。
  論文  参考訳（メタデータ） (2026-05-19T09:56:27Z)
• MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation [60.1890607252082]
  MuonRecは、提案されたMuonイテレーションをRecSysトレーニングに導入する最初のフレームワークである。 我々は、レコメンデーションモデルのためのオープンソースのトレーニングレシピを開発し、従来のシーケンシャルなレコメンデーションモデルと近代的なジェネレーティブなレコメンデーションモデルの両方で評価する。
  論文  参考訳（メタデータ） (2026-02-28T02:32:44Z)
• Muon+: Towards Better Muon via One Additional Normalization Step [18.816463168231618]
  我々は,ミュオンの簡易かつ効果的な拡張,すなわちミュオン+を提案する。 モデルスケールとアーキテクチャの広範な事前学習実験を通じて,Muon+の有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-25T04:04:00Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。