論文の概要: Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics

• arxiv url: http://arxiv.org/abs/2606.30509v1
• Date: Mon, 29 Jun 2026 16:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.326851
• Title: Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics
• Title（参考訳）: ムーンは緩やかなサドル・アンド・サドル力学を伴わない行列分解における平衡解を学習する
• Abstract要約: 行列分解は$min_mathbfP,mathbfQ |mathbfMstar - mathbfPtopmathbfQ|_mathrmF2$という形式の問題である。 本研究では,Muonパラメータの下での軌跡が勾配降下の軌跡とどのように異なるかを検討した。
• 参考スコア（独自算出の注目度）: 0.9798289347944394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Matrix factorization (i.e., problems of the form $\min_{\mathbf{P},\mathbf{Q}} \|\mathbf{M}^\star - \mathbf{P}^\top\mathbf{Q}\|_\mathrm{F}^2$) is a minimal learning problem that exhibits both nonlinear parameter dynamics and representation learning. In this setting, we study how parameter trajectories under the Muon optimizer differ from those of gradient descent. We identify three main dynamical differences: 1) Muon avoids the slow saddle-to-saddle dynamics from small initialization. Muon instead learns all the top modes of $\mathbf{M}^\star$ at the same rate, with the smaller modes converging first. 2) Muon remains stable even when the learning rate exceeds the critical threshold set by the local loss sharpness. This frees the learning rate from the condition number of the problem, enabling rapid convergence via exponential learning rate annealing. 3) Once the weights are aligned with each other and the target, Muon flow conserves the matrix quantity $\sqrt{\mathbf{P}^\top \mathbf{P}}-\sqrt{\mathbf{Q}^\top \mathbf{Q}}$, while gradient flow is known to conserve the matrix $\mathbf{P}^\top\mathbf{P} - \mathbf{Q}^\top\mathbf{Q}$. Despite having distinct conserved quantities, both optimizers find the so-called \textit{balanced} solution from vanishing initialization. When training from small random initialization, the weights spontaneously align early in training. We derive the alignment rates in simple settings and show that they predict the empirical alignment rates in general. Finally, we exploit structural properties of Muon to construct a learning rate schedule that achieves near-perfect alignment in only two optimization steps.
• Abstract（参考訳）: 行列分解(英: Matrix factorization、すなわち $\min_{\mathbf{P},\mathbf{Q}} \|\mathbf{M}^\star - \mathbf{P}^\top\mathbf{Q}\|_\mathrm{F}^2$)は、非線形パラメータのダイナミクスと表現学習の両方を示す最小の学習問題である。 本研究では,Muonオプティマイザのパラメータ軌跡と勾配降下のパラメータの相違について検討する。 主な力学的な違いは次の3つである。 1)ミュオンは小さな初期化から緩やかなサドル・アンド・サドル力学を避ける。 代わりにMuonは$\mathbf{M}^\star$のすべてのトップモードを同じ速度で学習し、より小さなモードは最初に収束する。 2) 学習速度が局所的損失シャープネスによって設定された臨界しきい値を超えても, ムオンは安定している。 これにより、学習率を問題の条件数から解放し、指数的学習率アニールによる迅速な収束を可能にする。 3) 重みが互いに一致してターゲットとなると、ムーンフローは行列量 $\sqrt{\mathbf{P}^\top \mathbf{P}}-\sqrt{\mathbf{Q}^\top \mathbf{Q}}$ を、勾配フローは行列量 $\mathbf{P}^\top\mathbf{P} - \mathbf{Q}^\top\mathbf{Q}$ を保存することが知られている。 保存量が異なるにもかかわらず、両方のオプティマイザは、いわゆる「textit{ Balanced}」ソリューションを初期化が消えることから見つける。 小さなランダム初期化からのトレーニングでは、ウェイトは訓練の早い段階で自然に整列する。 簡単な設定でアライメント率を導出し、一般に経験的アライメント率を予測する。 最後に,2つの最適化ステップでほぼ完全なアライメントを実現する学習率スケジュールを構築するために,Muonの構造特性を利用する。

関連論文リスト

• Low-Rank Prompt Learning for Vision-Language Models with Fixed-Token Bases [11.437689514839333]
  クラス毎にほんの数例からトレーニングした高密度プロンプト行列 $mathbfPinmathbbRmtimes d$ について検討する。 トークン側の要素をまったく学習する必要はありません。 CLIPプロンプト設定では、埋め込み側係数は適応を持ち、トークンベースは簡単に固定できる。
  論文  参考訳（メタデータ） (2026-09-08T21:26:37Z)
• Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
  最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。 GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
  論文  参考訳（メタデータ） (2026-09-07T15:07:24Z)
• Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning [72.62839712454196]
  スペクトル最適化の最近の進歩、特にムーンは、スティーフェル多様体への更新ステップの制限が、トレーニングと改善を著しく加速することを示した。 我々は、この「利他的」制約は、曲率スペクトルが非常に重く、不調であることが知られているディープニューラルネットワークに最適であると主張している。 textbfShampoo の textbfStruct を利用した textbfMousse (textbfMuon textbfOptimization textbfUtilizing textbfShampoo's textbfStruct を提案する。
  論文  参考訳（メタデータ） (2026-03-10T14:03:49Z)
• Sample Complexity of Average-Reward Q-Learning: From Single-agent to Federated Reinforcement Learning [51.820005667020354]
  有限状態と作用空間を持つ平均回帰型MDPに対して、弱い通信仮定の下で、単純だが効果的なQ-ラーニングアルゴリズムについて検討する。 We proof that the collaborations the per-agent sample complexitys to $widetildeOleft(frac|mathcalA||hstar|_mathsfsp3Mvarepsilon3right)$, with only $widetildeOleft(frac|hstar|_mathsfsp3Mvareps)。
  論文  参考訳（メタデータ） (2026-01-20T06:21:54Z)
• The Price equation reveals a universal force-metric-bias law of algorithmic learning and natural selection [0.0]
  プライス方程式による変化の単純な記法分割は、普遍力計量バイアス(FMB)法則を明らかにすることを示す。 FMB法は、規律を越えて学習アルゴリズムを理解し、比較し、設計するための原則化された基盤を提供する。
  論文  参考訳（メタデータ） (2025-07-24T16:13:56Z)
• Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping [21.865728815935665]
  重み付き雑音下での最初の収束を提供するが、切断はしない。 また、テールインデックス$mathfrakp$が事前に不明な場合には、最初の$mathcalO(Tfrac1-mathfrakp3mathfrakp-2)$収束率も設定する。
  論文  参考訳（メタデータ） (2024-12-27T08:46:46Z)
• Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
  固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。 また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
  論文  参考訳（メタデータ） (2024-06-10T22:57:27Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Near Optimal Heteroscedastic Regression with Symbiotic Learning [29.16456701187538]
  我々は不連続線形回帰の問題を考察する。 正則ノルムにおいて$mathbfw*$を$tildeOleft(|mathbff*|2cdot left(frac1n + left(dnright)2right)$の誤差まで推定し、一致する下界を証明できる。
  論文  参考訳（メタデータ） (2023-06-25T16:32:00Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Global Convergence of Gradient Descent for Asymmetric Low-Rank Matrix Factorization [49.090785356633695]
  非対称な低ランク分解問題: [mathbbRm min d , mathbfU$ および MathV$ について検討する。
  論文  参考訳（メタデータ） (2021-06-27T17:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。