論文の概要: When and How Does Muon Precondition? The Role of Structured Gradient Noise

• arxiv url: http://arxiv.org/abs/2610.31728v1
• Date: Thu, 22 Oct 2026 15:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.254524
• Title: When and How Does Muon Precondition? The Role of Structured Gradient Noise
• Title（参考訳）: ムーンプレコンディションの時と方法 : 構造的勾配騒音の役割
• Abstract要約: 古典的等方的雑音仮定の下では、Muonは学習率の再スケーリング以上の加速度を与えないことを示す。 異種タスク周波数の連想記憶におけるミニバッチサンプリングから生じる構造ノイズについて検討する。 分析の結果,Muonは線形から平方根へのタスク周波数依存を緩和し,頻繁かつ稀なタスクの学習のバランスをとることができることがわかった。
• 参考スコア（独自算出の注目度）: 17.464713153336167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon has become a popular optimizer for large language model training, yet its theoretical foundations remain poorly understood. In this work, we study how gradient noise geometry shapes Muon's preconditioning benefits. We first show, theoretically and empirically, that under the classical isotropic noise assumption, Muon offers no acceleration beyond a rescaling of the learning rate. This motivates us to investigate structured noise arising from mini-batch sampling in associative memory with heterogeneous task frequencies. We establish an exact balancing threshold for two tasks and extend the analysis to multiple tasks, revealing how task coverage and gradient reliability jointly shape learning. Our analysis shows that Muon can soften the dependence on task frequency from linear to square-root, helping balance the learning of frequent and rare tasks. We further identify rotation-induced negative transfer in SignSGD that Muon avoids, and explain how momentum reduces sampling noise while tracking changing gradients. Controlled numerical experiments validate these mechanisms, and a preliminary LLM pretraining study illustrates the practical promise of fast-slow momentum.
• Abstract（参考訳）: Muon は大規模言語モデルトレーニングの一般的な最適化ツールとなっているが、理論的な基礎はいまだによく理解されていない。 本研究では,Muonのプレコンディショニングの利点を勾配ノイズ幾何がどう形作るかを検討する。 まず,古典的等方的雑音仮定の下では,Muonは学習速度の再スケーリング以上の加速度を与えないことを示す。 このことは、異種タスク周波数の連想記憶におけるミニバッチサンプリングから生じる構造ノイズを調査する動機となる。 2つのタスクの正確なバランスしきい値を確立し、分析を複数のタスクに拡張し、タスクのカバレッジと勾配の信頼性を共同で学習する方法を明らかにする。 分析の結果,Muonは線形から平方根へのタスク周波数依存を緩和し,頻繁かつ稀なタスクの学習のバランスをとることができることがわかった。 さらに、Muonが避けるSignSGDにおける回転誘起負の移動を同定し、勾配の変化を追尾しながらサンプリングノイズをいかに減少させるかを説明する。 制御された数値実験でこれらのメカニズムが検証され、予備的なLCM事前訓練研究は高速スロー運動量の実現可能性を示している。

関連論文リスト

• From Parallel to Sequential: Small-Batch Noise Restores Simplicity Bias of Muon [28.96327547569231]
  提案手法は,連続的な特徴学習を復元し,完全バッチMuonに欠落する単純さバイアスのメカニズムを提供する。 我々は、雑音スペクトル降下の効果的な連続力学を導出することにより、このメカニズムを深い線形モデルに対して定式化する。
  論文  参考訳（メタデータ） (2026-10-12T14:33:39Z)
• Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering [32.15111956211244]
  ムオンの運動量はスペクトルフィルタとして作用することを示す。 摂動前の運動量を適用することは、この順序を逆転させるか、単に運動量を取り除くよりも、勾配の信号成分との配向を確実に強くする。
  論文  参考訳（メタデータ） (2026-06-02T16:54:38Z)
• AMUSE: Anytime Muon with Stable Gradient Evaluation [25.647698512832648]
  本研究は,平らで低曲率なバルク部分空間に沿って,ムーンを河川-谷の損失景観から調査するものである。 本研究では,Muonの急激なバルク進行とSchedule-Free平均化の安定化効果を統合した安定勾配評価(AMUSE)を用いたAnytime MUonを提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:55:52Z)
• Measuring Learning Progress via Gradient-Momentum Coupling [2.1893270302257433]
  本稿では,各サンプルの勾配が学習にどの程度有用かを示す信号として,GMC(Gradient-Momentum Coupling)を提案する。 制御された実験は、難易度ではなく、学習速度によってタスクを優先する信号を用いて、ノイズの堅牢性と創発的なカリキュラム学習を示す。
  論文  参考訳（メタデータ） (2026-05-07T08:26:50Z)
• Sharp Capacity Scaling of Spectral Optimizers in Learning Associative Memory [77.27772368491698]
  Muonのようなスペクトルは、最近、大規模な言語モデルトレーニングにおいて、強い経験的パフォーマンスを示している。 我々はこの問題を線形連想記憶問題を通して研究する。 また,Muonの貯蔵能力はSGDよりも有意に高いことがわかった。
  論文  参考訳（メタデータ） (2026-03-27T16:13:18Z)
• Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
  We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。 我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-05T14:49:40Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。