Fugu-MT 論文翻訳(概要): Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima

論文の概要: Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima

arxiv url: http://arxiv.org/abs/2609.32861v1
Date: Sat, 26 Sep 2026 18:38:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 19:31:43.67744
Title: Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima
Title（参考訳）: 勾配雑音下におけるミューオンとオプティマ近傍の直交化限界
Abstract要約: 各重み行列の運動量バッファーをその極因子で置き換えることを示す。エルミート展開は、入力ノイズとは無関係な非線形残留に運動量がどのように作用するかを示す。その結果、最適化がノイズ支配となると、応答整合運動量SGDによる勾配化の置き換えが理論的に成り立つ。
参考スコア（独自算出の注目度）: 10.232844836735259
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Muon replaces the momentum buffer of each weight matrix by its orthogonal polar factor. We ask what this orthogonalization does near an optimum, where minibatch noise dominates the gradient. Under a Gaussian noise model, the expected Muon update becomes a scaled gradient step, so a linear method with a suitably matched learning rate reproduces Muon's first-order mean response. The stochastic update is a different matter: after the response is matched, Muon retains a nonlinear residual that is uncorrelated with the input noise and contributes additional covariance. A Hermite expansion shows how momentum acts on this residual. Its higher-order components decorrelate faster than the linear component, so momentum suppresses the residual's accumulated covariance relative to the linear part, but never eliminates it. In a local quadratic surrogate that evaluates the residual on the stationary noise buffer, the residual adds stationary covariance and raises the stationary loss floor at every stable step size, while leaving the contraction dynamics unchanged. Simulations of the full nonlinear recursion on quadratics and measurements on frozen transformer gradients support each step of this picture. Together, the results make a theoretical case for replacing orthogonalization by response-matched momentum SGD once optimization becomes noise-dominated.
Abstract（参考訳）: ミューオンは、各重み行列の運動量バッファーを直交極因子によって置き換える。我々は、この直交化が最適付近で何をするかを問う。ガウス雑音モデルの下では、期待されるムーン更新はスケールした勾配ステップとなるため、適切な一致した学習率を持つ線形法はムーンの1次平均応答を再現する。確率的更新は別の問題であり、応答が一致した後、ムオンは入力ノイズとは無関係な非線形残留を保持し、追加の共分散に寄与する。エルミート展開は、この残留物に対する運動量がどのように作用するかを示す。その高次成分は線型成分よりも早く相関するので、運動量は線形部分に対して残余の蓄積した共分散を抑制するが、それを排除しない。定常ノイズバッファの残差を評価する局所二次サロゲートにおいて、残差は定常共分散を付加し、安定なステップサイズ毎に定常損失フロアを上昇させ、収縮ダイナミクスは変化しない。二次上の完全な非線形再帰のシミュレーションと冷凍変圧器勾配の測定は、この図の各ステップを支えている。その結果、最適化がノイズ支配となると、応答整合運動量SGDによる直交化を置き換える理論的なケースが得られた。

関連論文リスト

Nonsmooth Optimization via Orthogonalized Momentum [11.546795991978613]
すべての固定運動量因子 $in[0,1)$ に対して、ムオンは凸リプシッツの目的として大域最適解に近づくことができないことを示す。本稿では,運動量と勾配を結合したMAGDを提案する。
論文参考訳（メタデータ） (2026-09-12T03:08:36Z)
Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps [4.422349568747053]
本稿では,大規模モデル事前学習の既定であるウォームアップ安定度学習スケジュール(WSD)の段階について検討する。提案手法は, 勾配雑音の構造と勾配雑音の構造が正規化するか否かという2つの特性を同時に有する。
論文参考訳（メタデータ） (2026-07-14T05:21:38Z)
OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
閉ループスカラー運動量を示す。最適化はムオン型運動量と組み合わせることができる。雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。これらの結果は,OptMuon-Aがノイズレートを達成することを示す。 (T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。 (T-1/2+)
論文参考訳（メタデータ） (2026-06-07T18:59:24Z)
The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。この操作によって生成される最適化バイアスについて検討する。
論文参考訳（メタデータ） (2026-06-07T00:51:30Z)
Geometry-Correct Diffusion Posterior Sampling with Denoiser-Pullback Curvature Guidance and Manifold-Aligned Damping [2.9985000712079426]
我々は、スカラー誘導をノイズレベルごとの減衰ガウスに置き換える。-拡散状態座標で計算されたニュートン補正。競合するPSNR/SSIM/LPIPSを実現し、比較したベースラインのほとんどよりも大幅に高速である。
論文参考訳（メタデータ） (2026-05-27T05:29:35Z)
Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
論文参考訳（メタデータ） (2026-01-20T00:08:31Z)
Closed-Form Last Layer Optimization [72.49151473937319]
正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
論文参考訳（メタデータ） (2025-10-06T09:14:39Z)
Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
論文参考訳（メタデータ） (2024-10-21T22:40:42Z)
Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees [56.80920351680438]
本研究では,重音の存在下でのオンライン学習における高確率収束について検討する。ノイズモーメントを仮定することなく、幅広い種類の非線形性を保証する。
論文参考訳（メタデータ） (2024-10-17T18:25:28Z)
On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文参考訳（メタデータ） (2021-06-30T17:51:36Z)
On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。