論文の概要: How Much Orthogonalization Does Muon Need?

• arxiv url: http://arxiv.org/abs/2606.00371v1
• Date: Fri, 29 May 2026 21:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.367247
• Title: How Much Orthogonalization Does Muon Need?
• Title（参考訳）: Muonはどの程度の直交化が必要なのか?
• Abstract要約: ミューオンは、未条件の運動量更新をほぼ半直交の更新に置き換えることで、ニューラルネットワークトレーニングを改善する。 我々は、Muonの低精度特異値バンドに対して直接導出される緩和された立方体ニュートン-シュルツスケジュールを使用する。 トレーニング品質は極分解精度によって単調に管理されないことがわかった。
• 参考スコア（独自算出の注目度）: 20.05604748384174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon optimizers improve neural-network training by replacing ill-conditioned momentum updates with approximately semi-orthogonal updates. This motivates a practical question: how much orthogonalization does Muon actually require? We study this question using a relaxed cubic Newton--Schulz schedule derived directly for Muon's low precision singular value band. The resulting five-step cubic construction uses ten dominant matrix multiplications, compared with fifteen for five quintic Newton--Schulz iterations. The cubic schedule is not intended as a more accurate polar solver; instead, it is a principled low-cost variant that lets us probe the relation between polar accuracy, spectral shaping, and training quality. Across synthetic diagnostics, NanoGPT ablations, and training experiments on hybrid MoE/Mamba models, we find that training quality is not governed monotonically by polar-decomposition accuracy: truncated Polar Express, Muon-Jordan, cubic Newton--Schulz, and an explicit FP32 SVD polar factor can reach nearly indistinguishable final loss on GPT-2 Small, and cubic5 matches the Muon-Jordan quintic update within about $10^{-3}$ validation loss on hybrid MoE/Mamba models with one billion to four billion parameters. These results support cubic5 as a practical low-cost Muon orthogonalization variant, with empirical evidence of training-quality parity in the settings tested.
• Abstract（参考訳）: ミューオンオプティマイザは、不条件の運動量更新をほぼ半直交の更新に置き換えることで、ニューラルネットワークトレーニングを改善する。 これは実際的な問題であり、Muonが実際にどれくらい直交化を必要とするのか? 我々は,Muonの低精度特異値帯域に対して直接導出される緩和立方体ニュートン-シュルツスケジュールを用いて,この問題を考察する。 結果として得られる5段階の立方体構成は、五つのクインティックニュートン-シュルツ反復に対して 15 と比較して、支配的行列乗法を 10 個使う。 立方体スケジュールは、より正確な極性解法としてではなく、極性精度、スペクトル形成、およびトレーニング品質の関係を調査できる、原則化された低コストの変種である。 混合MoE/Mambaモデルの合成診断、ナノGPTの短縮、および訓練実験において、トレーニング品質は極性分解精度によって単調に制御されないことが判明した: トラッピング極性指数、ムオン・ジョーダン、立方ニュートン・シュルツ、明示的なFP32 SVD極性係数は、GPT-2におけるほぼ不明瞭な最終損失に到達し、立方体5は、約10～40億のパラメータを持つハイブリッドMoE/Mambaモデルに対する検証損失約10億～10億の値でムオン・ジョーダンのクインティック更新と一致する。 これらの結果は、試験された設定におけるトレーニング品質の同等性の実証的な証拠とともに、実用的な低コストのムオン直交化変種として立方体5を支持する。

関連論文リスト

• Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
  Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。 私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
  論文  参考訳（メタデータ） (2026-06-03T09:40:30Z)
• DynMuon: A Dynamic Spectral Shaping View of Muon [12.175075916077702]
  M$を$Up Vtop$に置き換え、あるパラメータを$p$にします。 そこで我々はDynMuonを提案する。DynMuonは、トレーニング時に正からわずかに負に$p$をスケジュールする効率的な動的スペクトル整形法である。
  論文  参考訳（メタデータ） (2026-05-16T18:30:11Z)
• MuonQ: Enhancing Low-Bit Muon Quantization via Directional Fidelity Optimization [7.243820893114047]
  指向性最適化の原理に基づく低ビットMuonトレーニングフレームワークを提案する。 4ビット精度のMuonQは、トレーニング損失と下流タスク精度の両方において、フル精度のMuonと密接に一致している。 私たちのコードはhttps://github.com/YupSueng/MuonQ.comで公開されています。
  論文  参考訳（メタデータ） (2026-05-12T01:31:32Z)
• Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
  ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
  論文  参考訳（メタデータ） (2026-04-14T07:02:32Z)
• Communication-Efficient Gluon in Federated Learning [89.94131981227609]
  より一般的な層次$(L0, L1)$-smooth設定の下で、ムオンの拡張であるグルーオンについて検討する。 圧縮誤差を低減するため,SARAHにおける分散低減手法を圧縮法に適用した。
  論文  参考訳（メタデータ） (2026-04-12T15:30:28Z)
• Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
  Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。 メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
  論文  参考訳（メタデータ） (2026-04-11T00:27:40Z)
• The Newton-Muon Optimizer [2.1583596008762935]
  我々は,Muonの設計イテレーションに新たな光を放つ代理モデルを導入する。 Newton-Muonと呼ばれる新しい最適化手法は、標準のMuonを暗黙のNewton-typeメソッドとして解釈できることを示している。
  論文  参考訳（メタデータ） (2026-04-01T23:29:08Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
  本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。 $mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。 大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
  論文  参考訳（メタデータ） (2025-11-16T20:14:28Z)
• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。