論文の概要: Reassessing Muon for Matrix Factorization
- arxiv url: http://arxiv.org/abs/2607.13246v1
- Date: Tue, 14 Jul 2026 20:21:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.580994
- Title: Reassessing Muon for Matrix Factorization
- Title（参考訳）: マトリックス因子化のためのムーンの再評価
- Abstract要約: Muonは、大規模なディープラーニングにおいて強力な競争相手として現れている。
簡単な、よく理解され、スペクトル的に構造化された問題(低ランク行列分解)について、Muonについて研究する。
この設定では、MuonはAdamWを一貫して上回るわけではない。
- 参考スコア（独自算出の注目度）: 9.691906492780353
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Muon has recently emerged as a strong optimizer for large-scale deep learning, where it reshapes gradient updates through approximate orthogonalization and has been reported to outperform Adam and AdamW in large language model training. Its empirical success has motivated a growing body of theoretical work that interprets Muon as steepest descent under the spectral norm. Yet it remains unclear which of Muon's advantages stem from its update rule itself and which are artifacts of the scale, architecture, and data of modern deep networks. In this work, we isolate the optimizer from these confounding factors by studying Muon on a simple, well-understood, and spectrally structured problem: low-rank matrix factorization. Through a controlled comparison against carefully tuned adaptive baselines, we find that Muon does not consistently outperform AdamW in this setting and that several previously reported advantages are sensitive to hyperparameter choices. Our results provide a more nuanced picture of when spectrum-aware orthogonalization is beneficial and argue for evaluating modern optimizers on controlled problems in addition to end-to-end benchmarks.
- Abstract（参考訳）: Muonは、最近、大規模なディープラーニングのための強力なオプティマイザとして現れ、近似直交化を通じて勾配更新を再現し、大規模言語モデルのトレーニングにおいてAdamとAdamWより優れていると報告されている。
その経験的成功は、ムオンをスペクトルノルムの下で最も急な降下と解釈する理論的な研究の台頭を動機付けている。
しかし、ムオンの利点のどれが更新ルール自体に由来するのか、現在のディープネットワークのスケール、アーキテクチャ、データのアーティファクトなのかははっきりしない。
本研究では,Muonを低ランク行列因数分解という,シンプルでよく理解され,スペクトル的に構造化された問題に対して研究することにより,これらの共起因子から最適化器を分離する。
注意深く調整された適応ベースラインに対する制御された比較により、Muonはこの設定においてAdamWを一貫して上回り、以前に報告されたいくつかの利点はハイパーパラメータの選択に敏感であることがわかった。
この結果より,スペクトル認識の直交化が有効であることを示すとともに,エンドツーエンドのベンチマークに加えて,制御問題に対する現代的なオプティマイザの評価についても論じる。
関連論文リスト
- Musec: MomentUm SpEctral Clipping for Stable Muon-type Training [24.72819846755016]
ミューオンは、損失のスパイクと重量の変動が原因で、スペクトル成長のために不安定性を訓練する傾向にある。
モーメントUmMusecは運動量行列の特異値を約1に切断し、基礎となるスペクトル構造を保存する。
経験的に、Soft Musecは、幅広い学習率とモデルサイズにわたる既存のMuon変種に対するトレーニングを一貫して改善している。
論文 参考訳（メタデータ） (2026-09-10T15:00:01Z) - Muon as a Residual Connection [4.242184336943779]
Muonは、大規模なニューラルネットワークをトレーニングするための最も効果的な保存の1つとして登場した。
我々は,ミュオンをトレーニング中に暗黙的な残差接続と解釈できる機構的解釈を提案する。
論文 参考訳（メタデータ） (2026-07-01T16:12:24Z) - Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory [77.27772368491698]
Muonのようなスペクトルは、最近、大規模な言語モデルトレーニングにおいて、強い経験的パフォーマンスを示している。
我々はこの問題を線形連想記憶問題を通して研究する。
また,Muonの貯蔵能力はSGDよりも有意に高いことがわかった。
論文 参考訳（メタデータ） (2026-03-27T16:13:18Z) - To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters [16.624341041698013]
Muonはおそらく、トレーニング速度が優れているため、最も人気がある。
本稿では、このスピードアップを駆動するメカニズムから生じる潜在的な欠点について検討する。
Muonはタスク間の共通基盤構造を明らかにするのに苦労しており、刺激的な特徴に適合する傾向にある。
論文 参考訳（メタデータ） (2026-02-28T17:37:15Z) - Delving into Muon and Beyond: Deep Analysis and Extensions [8.297062899157664]
We study Muon as the p = 0 end of a family of a spectrum transformations of form U boldsymbolp V'。
RMS正規化更新は、最初のモーメント更新よりも安定した最適化をもたらす。
この結果から,Muonはスペクトル正規化の有効な形式として理解されているのがよいが,汎用的に優れた最適化手法ではないことが示唆された。
論文 参考訳（メタデータ） (2026-02-04T15:40:47Z) - Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。
解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
論文 参考訳（メタデータ） (2026-01-20T00:08:31Z) - Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。
アダム型学習法は,大規模言語モデルの最小化よりも優れている。
論文 参考訳（メタデータ） (2025-12-18T14:38:39Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。
我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
論文 参考訳（メタデータ） (2025-09-30T10:04:08Z) - On the Convergence Analysis of Muon [19.29806555936508]
我々は、Muonの総合収束速度解析と、Gradient Descent(GD)との比較を示す。
我々の理論的結果は、ムオンがヘッセン行列の低ランクおよび近似ブロックワイド対角構造から恩恵を受けることができることを示している。
論文 参考訳（メタデータ） (2025-05-29T17:58:01Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。