論文の概要: A Quadratic Lens on Muon's Polar Update: Benefits, Pitfalls, and the Role of Newton-Schulz

• arxiv url: http://arxiv.org/abs/2610.30280v1
• Date: Wed, 21 Oct 2026 18:01:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.095061
• Title: A Quadratic Lens on Muon's Polar Update: Benefits, Pitfalls, and the Role of Newton-Schulz
• Title（参考訳）: Muonの極性更新に関する準ドラマティックレンズ:利益,ピットフォール,およびNewton-Schulzの役割
• Abstract要約: 本研究では,Muonのコアにおける直交的更新を行列二次体上で研究し,そこでは閉形式で解析することができる。 勾配が低等級から遠く、最大の特異方向が高い曲率を示す場合、PolarGDが報われることを示す。 ムオンで訓練された変圧器では、注意行列の特異値の約4分の1がこの状態に該当する。
• 参考スコア（独自算出の注目度）: 58.894665177436906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon updates matrix-valued parameters along approximately orthogonalized directions and often trains large language models faster than AdamW, yet it remains unclear when and why orthogonalization helps. We study PolarGD, the orthogonalized update at the core of Muon, on matrix quadratics, where optimizers can be analyzed in closed form, and compare update directions under line search to remove the effect of learning-rate tuning. Orthogonalization pays off when the gradient is far from low rank and its largest singular directions see high curvature. PolarGD reaches the minimizer in one step whenever the rows of the error are orthogonal with equal norms, for any Hessian, whereas gradient descent needs all Hessian eigenvalues to be equal; and unlike sign descent, PolarGD is unaffected by rotations of the problem. Over many steps, PolarGD acts as gradient descent preconditioned by the current iterate, so its speed is governed by the conditioning of the iterate rather than of the Hessian. This explains fast regimes as well as a slow one, caused by tiny singular values of the iterate, in which PolarGD is much slower than gradient descent. Finally, the few Newton-Schulz iterations used in Muon treat these tiny singular values as gradient descent does, so fewer iterations can converge faster than exact orthogonalization; in a transformer trained with Muon, about a quarter of the singular values of the attention matrices fall in this regime.
• Abstract（参考訳）: Muon は行列値パラメータをほぼ直交方向に沿って更新し、AdamW よりも高速に大きな言語モデルを訓練する。 本研究では,Muon コアの直交的更新である PolarGD を行列二次解析で検討し,オプティマイザをクローズド形式で解析し,行探索における更新方向を比較して学習速度チューニングの効果を除去する。 直交化(orthogonalization)は、勾配が低位から遠く、その最大の特異な方向が高い曲率を見ることができるときに発生する。 極GDは、誤差の行が任意の Hessian に対して等ノルムと直交するたびに最小値に達するが、勾配降下はすべての Hessian 固有値が等しいことを必要とし、符号降下とは異なり、極GD は問題の回転の影響を受けない。 多くのステップにおいて、PolarGDは電流イテレートによって事前条件付き勾配降下として作用するので、その速度はヘシアンではなくイテレートの条件付けによって制御される。 このことは、極GDが勾配降下よりもはるかに遅い、イテレーションの小さな特異値によって引き起こされる、高速な状態と遅い状態を説明する。 最終的に、ミューオンで使用される数個のニュートン・シュルツ反復は、これらの小さな特異値を勾配降下として扱うため、正確な直交化よりも速く収束するイテレーションが少なく、ミューオンで訓練された変換器では、注意行列の特異値の約4分の1がこの状態に落ちる。

関連論文リスト

• Spectrally Targeted Muon [0.0]
  スペクトル目標ミューオン(Spectrally Targeted Muon)を導入し、これは閾値$$以上の特異値のみを直交する。 CIFAR-10とNanoGPTの速度ランでこれらの変種を評価し、勾配、更新、および重量行列の有効ランクを追跡した。 また、ウェイト行列の等スペクトル多様体の接空間との更新のアライメントという新しい計量も提示する。
  論文  参考訳（メタデータ） (2026-10-07T22:35:28Z)
• Convergence of Practical Muon with Finite Newton-Schulz Iterations and Nesterov Momentum [11.807444451741851]
  実践的なミューオンは運動量を維持し、各パラメータ行列に対して少数のニュートン-シュルツ反復を実行する。
  論文  参考訳（メタデータ） (2026-09-30T12:19:01Z)
• Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima [10.232844836735259]
  各重み行列の運動量バッファーをその極因子で置き換えることを示す。 エルミート展開は、入力ノイズとは無関係な非線形残留に運動量がどのように作用するかを示す。 その結果、最適化がノイズ支配となると、応答整合運動量SGDによる勾配化の置き換えが理論的に成り立つ。
  論文  参考訳（メタデータ） (2026-09-26T18:38:27Z)
• Derivative-Free Structured Updates for Muon [0.0]
  我々は、構造化有限差分からミューオンスタイルの更新を構成する微分自由フレームワークを開発する。 行列回帰実験により、ランダムなランクワン探索が機能評価を大幅に削減できることが示された。 回帰とニューラルネットワークに関する制御されたノイズの緩やかな実験は、正確な関数値が信頼できない勾配のオラクルを補うことができることを示す。
  論文  参考訳（メタデータ） (2026-09-15T19:08:19Z)
• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
  Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。 この操作によって生成される最適化バイアスについて検討する。
  論文  参考訳（メタデータ） (2026-06-07T00:51:30Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models? [46.01087792062936]
  クラス内のEmphbestメソッドの相対的性能による推定器のクラスの比較を行う。 これにより、学習アルゴリズムのチューニング感度を厳格に定量化できます。
  論文  参考訳（メタデータ） (2021-08-26T16:01:37Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。