論文の概要: From Parallel to Sequential: Small-Batch Noise Restores Simplicity Bias of Muon

• arxiv url: http://arxiv.org/abs/2610.16868v1
• Date: Mon, 12 Oct 2026 14:33:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:08:57.325566
• Title: From Parallel to Sequential: Small-Batch Noise Restores Simplicity Bias of Muon
• Title（参考訳）: パラレルからシークエンシャルへ:ムーンの単純さを復元する小さなバッチノイズ
• Abstract要約: 提案手法は,連続的な特徴学習を復元し,完全バッチMuonに欠落する単純さバイアスのメカニズムを提供する。 我々は、雑音スペクトル降下の効果的な連続力学を導出することにより、このメカニズムを深い線形モデルに対して定式化する。
• 参考スコア（独自算出の注目度）: 28.96327547569231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simplicity bias, which can arise from sequential feature learning during training, has been proposed as a general explanation for the success of deep learning. An important driver of this phenomenon is saddle-to-saddle behavior, in which the gradient flow trajectory remains close to a sequence of saddle manifolds while learning one feature at a time. However, Muon, a state-of-the-art optimizer based on spectral descent, does not exhibit such dynamics in the full-batch setting and instead learns features in parallel. How is it then that Muon is so successful in deep learning settings? We show that stochastic gradient noise fundamentally changes this behavior: small-batch noise restores sequential feature learning, providing a mechanism for simplicity bias that is absent from full-batch Muon. We explain this transition through stochastic smoothing of the spectral descent operator underlying Muon. When gradients are small relative to the noise scale, the expected spectral update becomes approximately proportional to the actual gradient, which restores gradient-flow-like dynamics. We formalize this mechanism for deep linear models by deriving the effective continuous dynamics of noisy spectral descent. Experiments on low-rank matrix reconstruction, vision transformers, and large language models (LLMs) support these findings.
• Abstract（参考訳）: 学習中に連続的な特徴学習から生じる単純さバイアスは、ディープラーニングの成功の一般的な説明として提案されている。 この現象の重要な要因は、ある特徴を一度に学習しながら、勾配流路がサドル多様体の列に近接するサドル・アンド・サドル挙動である。 しかし、スペクトル降下に基づく最先端の最適化であるMuonは、フルバッチ設定ではそのようなダイナミクスを示さず、代わりに並列に特徴を学習する。 では、Muonはどのようにしてディープラーニング設定に成功しているのだろうか? 小バッチノイズは、連続的な特徴学習を復元し、完全バッチミューオンから欠落する単純さバイアスのメカニズムを提供する。 この遷移は、Muonの基底となるスペクトル降下作用素の確率的滑らか化を通じて説明される。 勾配がノイズスケールに対して小さい場合、期待されるスペクトル更新は、勾配流のようなダイナミクスを復元する実際の勾配にほぼ比例する。 我々は、雑音スペクトル降下の効果的な連続力学を導出することにより、このメカニズムを深い線形モデルに対して定式化する。 低ランク行列再構成、視覚変換器、および大規模言語モデル(LLM)の実験がこれらの知見を支持している。

関連論文リスト

• Spectral Saliency for Machine Unlearning [30.769424654889235]
  機械学習(MU)は、モデルユーティリティを保持しながら、特定のトレーニングデータの影響を取り除くことを目的としている。 本稿では、弱い特異成分をしきい値にし、確実な未学習信号で支えられる方向のみを更新するスペクトル・サリエンシ・アンラーニング(SSU)を提案する。
  論文  参考訳（メタデータ） (2026-08-16T05:44:53Z)
• Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering [32.15111956211244]
  ムオンの運動量はスペクトルフィルタとして作用することを示す。 摂動前の運動量を適用することは、この順序を逆転させるか、単に運動量を取り除くよりも、勾配の信号成分との配向を確実に強くする。
  論文  参考訳（メタデータ） (2026-06-02T16:54:38Z)
• AMUSE: Anytime Muon with Stable Gradient Evaluation [25.647698512832648]
  本研究は,平らで低曲率なバルク部分空間に沿って,ムーンを河川-谷の損失景観から調査するものである。 本研究では,Muonの急激なバルク進行とSchedule-Free平均化の安定化効果を統合した安定勾配評価(AMUSE)を用いたAnytime MUonを提案する。
  論文  参考訳（メタデータ） (2026-05-21T12:55:52Z)
• Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks [74.46751089984072]
  深い線形ネットワークにおける勾配降下(SGD)ノイズの理解は不十分である。 本研究では,サドル・アンド・サドル体制におけるDLNの訓練におけるSGDの動態について検討した。 以上の結果から,SGDノイズは特徴学習の進行に関する情報を符号化するが,サドル・アンド・サドル・ダイナミクスを根本的に変えるものではないことが判明した。
  論文  参考訳（メタデータ） (2026-04-07T18:43:08Z)
• On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD [93.70725920710208]
  ラベル雑音による勾配降下の学習力学について検討する。 遅延からリッチな体制への移行を駆動する上で,ラベルノイズが重要な役割を担っていることを強調する。 これらの知見をSAM(Sharpness-Aware Minimization)に拡張し、ラベルノイズSGDを規定する原理がより広範な最適化アルゴリズムにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-11T04:26:54Z)
• Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
  We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。 我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-05T14:49:40Z)
• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Mixture of Noise for Pre-Trained Model-Based Class-Incremental Learning [59.635264288605946]
  クラスインクリメンタルラーニング(CIL)は,旧来の知識を維持しつつ,新たなカテゴリを継続的に学習することを目的としている。 バックボーンに軽量な微調整を適用する既存のアプローチは、依然としてドリフトを誘発する。 バックボーン一般化の劣化を軽減し,新しいタスクを適応させることを目的として,Mixture of Noise (Min)を提案する。
  論文  参考訳（メタデータ） (2025-09-20T16:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。