論文の概要: Muon Operates Beyond the Edge of Stability
- arxiv url: http://arxiv.org/abs/2610.24305v1
- Date: Fri, 16 Oct 2026 23:00:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 02:26:07.8834
- Title: Muon Operates Beyond the Edge of Stability
- Title（参考訳）: Muonは安定性の限界を越えて運用する
- Abstract要約: 我々は、ムオンを鋭さを用いて研究し、ムオンにもフラットミニマ仮説が適用されるという最初の実証的な証拠を提供する。
以上の結果から,Muonは対角的適応法と根本的に異なる状態にあることが示唆された。
- 参考スコア（独自算出の注目度）: 39.69435015590972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the Muon optimizer using sharpness and provide the first empirical evidence that the Flat Minima Hypothesis also applies to Muon. Further, we derive Muon's implicit preconditioner to analyze its potential Edge of Stability behavior. Experiments on CIFAR-10 show sharpness strongly correlates with generalization gap within each optimizer (Pearson $r = 0.45$-$0.69$, $p \leq 10^{-4}$), confirming the hypothesis holds for Muon similarly to Adam and SGD. However, Muon operates above the classical sharpness-based Adaptive Edge of Stability threshold that bounds diagonally-preconditioned optimizers like Adam and RMSprop, yet remains stable. Our findings suggest Muon operates in a fundamentally different regime than diagonally-adaptive methods. Defining the exact stability boundary for Muon remains an open question. All code is available at https://github.com/NikoCovic/DL-project.
- Abstract（参考訳）: シャープネスを用いてムオンオプティマイザを研究し、ムオンにもフラットミニマ仮説が適用されるという最初の実証的証拠を提供する。
さらに、ムオンの暗黙の前提条件を導出し、その潜在的な安定性のエッジを分析する。
CIFAR-10の実験では、シャープさは各オプティマイザ内の一般化ギャップ(ピアソン$r = 0.45$-$0.69$, $p \leq 10^{-4}$)と強く相関している。
しかし、ムオンは古典的なシャープネスに基づくアダプティブ・エッジ・オブ・安定しきい値の上で動作し、Adam や RMSprop のような対角的にプレコンディショニングされたオプティマイザを束縛するが、依然として安定である。
以上の結果から,Muonは対角的適応法と根本的に異なる状態にあることが示唆された。
Muon の正確な安定性境界を定義することは、未解決の問題である。
すべてのコードはhttps://github.com/NikoCovic/DL-projectで入手できる。
関連論文リスト
- Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。
GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
論文 参考訳（メタデータ） (2026-09-07T15:07:24Z) - Spectral Allocation: Why Muon Outperforms Adam, and How to Improve Muon [12.170977868230622]
Muon のような直交オプティマイザは、Adam と比較して大きな言語モデルの事前訓練を大幅に加速させることができる。
本研究では,トランスフォーマーの損失景観のスペクトル探索解析を通じてこれを考察する。
完全なSAMuonは低ランクランダム化SVDを用いて測定されたプロファイルに従い、単純化されたSAMuon-liteはランク1の電力反復による2レベル近似を使用する。
論文 参考訳（メタデータ） (2026-08-26T16:41:12Z) - Why Muon Outperforms Adam: A Curvature Perspective [49.85900116602357]
Muonは、大規模な言語モデルトレーニングにおいて、Adamよりもトレーニング効率を約2倍改善する。
私たちの研究は、Adamに対するMuonの優位性を曲率の観点から軽視する第一歩を踏み出します。
論文 参考訳（メタデータ） (2026-06-03T09:40:30Z) - Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。
メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
論文 参考訳（メタデータ） (2026-04-11T00:27:40Z) - Muon+: Towards Better Muon via One Additional Normalization Step [18.816463168231618]
我々は,ミュオンの簡易かつ効果的な拡張,すなわちミュオン+を提案する。
モデルスケールとアーキテクチャの広範な事前学習実験を通じて,Muon+の有効性を実証する。
論文 参考訳（メタデータ） (2026-02-25T04:04:00Z) - Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。
アダム型学習法は,大規模言語モデルの最小化よりも優れている。
論文 参考訳（メタデータ） (2025-12-18T14:38:39Z) - NorMuon: Making Muon more efficient and scalable [71.49702449498085]
我々はアダムの後継としてノームーンを提案する。
我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
論文 参考訳（メタデータ） (2025-10-07T01:13:41Z) - Muon is Scalable for LLM Training [50.68746986439438]
MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。
我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。
メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
論文 参考訳（メタデータ） (2025-02-24T09:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。