論文の概要: Sharpness-Aware Muon: Matrix-Aware Optimization with Momentum-Guided Perturbations
- arxiv url: http://arxiv.org/abs/2610.37225v1
- Date: Tue, 27 Oct 2026 13:34:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.641475
- Title: Sharpness-Aware Muon: Matrix-Aware Optimization with Momentum-Guided Perturbations
- Title（参考訳）: シャープネスを意識したミューオン:モーメント誘導摂動を用いた行列認識最適化
- Abstract要約: ムオンの鋭さを意識した定式化を導入する。
textscMuSAMはSharpness-Aware Minimization (SAM)スタイルの摂動を取り入れている。
textscMoMuSAMは、Muonのモーメントを更新変数からシャープネスの信号に変換する。
- 参考スコア（独自算出の注目度）: 31.15538292038612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Muon is a matrix-aware optimizer that combines momentum with orthogonalization to produce structured update directions with strong empirical behavior. However, it only shapes the geometry of the update itself and does not explicitly control neighborhood worst-case loss or bias training toward flat regions, which are often linked to stronger generalization. To address this limitation, we introduce the sharpness-aware formulation of Muon. We first develop \textsc{MuSAM}, which incorporates Sharpness-Aware Minimization (SAM)-style perturbation into Muon's orthogonalized update and establishes a principled bridge between sharpness-aware training and matrix-aware optimization. We then show that this formulation faces an efficiency--stability tension: constructing the perturbation requires an extra gradient evaluation, while the perturbation itself is generated from a single minibatch gradient and is therefore noisy. To resolve this issue, we propose \textsc{MoMuSAM}, which turns Muon's momentum from an update variable into a sharpness-probing signal. By using normalized momentum as the perturbation direction, \textsc{MoMuSAM} removes the extra clean-gradient computation and replaces the single-batch perturbation proxy with a temporally aggregated one. We prove that both \textsc{MuSAM} and \textsc{MoMuSAM} attain the same asymptotic first-order stationarity order, and further show that \textsc{MoMuSAM} yields a more stable stochastic linearization than \textsc{MuSAM}. Experiments on standard benchmarks demonstrate that sharpness awareness consistently improves Muon.
- Abstract（参考訳）: Muon は、運動量と直交化を組み合わせ、強い経験的振る舞いを持つ構造化更新方向を生成する行列対応オプティマイザである。
しかし、更新そのものの幾何学を形作るだけで、しばしばより強い一般化に結びついている平坦な領域に対する近隣の最悪の損失やバイアストレーニングを明示的に制御しない。
この制限に対処するために、ムオンの鋭さを意識した定式化を導入する。
まず, シャープネス・アウェア・最小化(SAM)スタイルの摂動をムーンの直交更新に組み込んで, シャープネス・アウェア・トレーニングとマトリクス・アウェア・オプティマイゼーションの原則的ブリッジを構築する。
摂動を構成するには余分な勾配評価が必要であるが、摂動そのものは1つのミニバッチ勾配から生成され、ノイズが多い。
この問題を解決するために、ムオンの運動量を更新変数からシャープネス探索信号に変換する「textsc{MoMuSAM}」を提案する。
正規化モーメントを摂動方向として使用することにより、 \textsc{MoMuSAM} は余分な清浄度計算を除去し、単一バッチ摂動プロキシを時間的に集約したプロキシに置き換える。
さらに, \textsc{MoMuSAM} と \textsc{MoMuSAM} の両者が同じ漸近的な一階定常順序を達成できることを証明し, さらに, \textsc{MoMuSAM} が \textsc{MuSAM} よりも安定な確率線型化をもたらすことを示す。
標準ベンチマークの実験は、シャープネスの意識がムーンを一貫して改善することを示した。
関連論文リスト
- Sharpness-aware Orthogonalized Momentum Algorithms [0.49874800846355516]
SAM( sharpness-aware generalization)は、ディープラーニングにおける一般化を改善するための手法である。
Muonは、大規模言語モデル(LLM)をトレーニングするための主要な最適化アルゴリズムとして登場した。
本稿では,計算効率が高く理論的に基礎付けられた摂動スキームとMuonアルゴリズムを組み合わせたシャープネス対応orthogonalized Momentum (SOMA)を提案する。
論文 参考訳（メタデータ） (2026-10-23T10:32:49Z) - Sharpness-Aware Minimization and Muon: Robustness under the Spectral Norm [11.791344953323287]
シャープネス認識最小化(SAM)の両段階における行列認識幾何について検討する。
本研究では,行列値の隠れ層パラメータに対する層状スペクトル内摂動を導入し,外部更新ではAdamW/SGDWまたはMuonと組み合わせる。
ViT-Small/16 と ResNet-50 のImageNet-1K 実験全体では、スペクトル内積とミューオン外積の組合せが一貫して強く機能していることが判明した。
論文 参考訳（メタデータ） (2026-07-28T17:18:11Z) - Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。
Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
論文 参考訳（メタデータ） (2026-05-26T02:48:34Z) - AMUSE: Anytime Muon with Stable Gradient Evaluation [25.647698512832648]
本研究は,平らで低曲率なバルク部分空間に沿って,ムーンを河川-谷の損失景観から調査するものである。
本研究では,Muonの急激なバルク進行とSchedule-Free平均化の安定化効果を統合した安定勾配評価(AMUSE)を用いたAnytime MUonを提案する。
論文 参考訳（メタデータ） (2026-05-21T12:55:52Z) - On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。
ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。
標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
論文 参考訳（メタデータ） (2026-04-27T17:44:26Z) - Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。
我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。
textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
論文 参考訳（メタデータ） (2026-03-10T14:03:49Z) - SpanNorm: Reconciling Training Stability and Performance in Deep Transformers [55.100133502295996]
両パラダイムの強度を統合することでジレンマを解消する新しい手法であるSpanNormを提案する。
我々は、SpanNormと原則付きスケーリング戦略を組み合わせることで、ネットワーク全体にわたって有界信号のばらつきを維持できることを理論的に示す。
経験的に、SpanNormは、密集および混成実験(Mixture-of-Experts、MoE)のシナリオにおいて、標準正規化スキームを一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-30T05:21:57Z) - Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。
我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
論文 参考訳（メタデータ） (2024-07-17T20:22:33Z) - Stabilizing Transformer Training by Preventing Attention Entropy
Collapse [56.45313891694746]
本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。
我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。
画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
論文 参考訳（メタデータ） (2023-03-11T03:30:47Z) - The Dynamics of Sharpness-Aware Minimization: Bouncing Across Ravines
and Drifting Towards Wide Minima [41.961056785108845]
我々は、ディープネットワークの勾配に基づく最適化手法であるシャープネス認識最小化について検討する。
SAM に凸2次対象を施すと、最も大きい曲率で最小方向の両辺の間で振動するサイクルに収束することを示す。
非二次的の場合、そのような振動は、ヘッセンのスペクトルノルムに基づいて、より小さなステップサイズで勾配降下を効果的に実行することを示す。
論文 参考訳（メタデータ） (2022-10-04T10:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。