論文の概要: On MUON optimization: From non-convergence to an error analysis with Polar Express and the Newton-Schulz polynomial from implementations

• arxiv url: http://arxiv.org/abs/2608.04607v1
• Date: Wed, 05 Aug 2026 09:14:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.79566
• Title: On MUON optimization: From non-convergence to an error analysis with Polar Express and the Newton-Schulz polynomial from implementations
• Title（参考訳）: MUON最適化について:非収束からPolar ExpressとNewton-Schulz多項式による誤差解析へ
• Authors: Thang Do, Steffen Dereich, Arnulf Jentzen,
• Abstract要約: 勾配降下(SGD)最適化手法はディープニューラルネットワーク(DNN)のトレーニングのための標準機器である そのような加速多様体の最も一般的な方法の1つは、2024年にジョルダンらによって提案されたニュートン・シュルツ(MUON)による運動量化である。 MUONが最適化問題への収束に失敗する最小バッチのほとんどすべてについて、勾配ステップの数が無限大に収束することを示す。 また、勾配ステップの数やミニバッチサイズの観点から収束率を提供する一般化NSステップを用いたMUONの誤差解析も確立する。
• 参考スコア（独自算出の注目度）: 1.8734449181723825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient descent (SGD) optimization methods are the standard instruments for the training of deep neural networks (DNNs). In many relevant artificial intelligence (AI) systems - such as popular large language models (LLMs)-not the standard SGD scheme is used as the optimization method but instead suitable accelerated variants of SGD are employed. One of the most popular methods of such accelerated SGD variants is the momentum orthogonalized by Newton-Schulz (MUON) optimizer proposed by Jordan et al. in 2024. The MUON optimizer exploits the special matrix structure of the weight parameters in the training of the DNNs and, in its original form, employs five Newton-Schultz (NS) matrix steps in each MUON iteration. In this work we propose and study a generalized variant of the MUON optimizer involving an arbitrary number of generalized NS steps with polynomials of possibly arbitrary high degree. The considered optimizer covers MUON with the original NS polynomial as well as MUON combined with the recently proposed Polar Express method as special cases. For a simple class of stochastic optimization problems (SOPs) we show for almost every mini-batch size that MUON fails to converge to the solution of the SOP as the number of gradient steps converges to infinity. We also establish an error analysis for MUON with the generalized NS steps that provides convergence rates in terms of the number of gradient steps and in terms of the size of the mini-batch. We illustrate our general error analysis for MUON in the case of several concrete examples including quadratic stochastic optimization problems (SOPs) as well as $\ell_2$ regularized logistic regression for binary classification.
• Abstract（参考訳）: 確率勾配勾配(SGD)最適化法は、ディープニューラルネットワーク(DNN)のトレーニングのための標準機器である。 多くの関連する人工知能(AI)システムでは、一般的な大言語モデル(LLM)のように、標準のSGDスキームを最適化法としてではなく、代わりに適切なSGDの加速変種を用いる。 そのような加速されたSGD不変量の最も一般的な方法の1つは、2024年にジョルダンらによって提案されたニュートン=シュルツ(MUON)オプティマイザによって直交化された運動量である。 MUONオプティマイザは、DNNのトレーニングにおける重みパラメータの特別な行列構造を利用し、元の形式では、各MUONイテレーションでニュートン・シュルツ(NS)行列ステップを5つ採用している。 本研究では、任意の高次多項式を持つ任意の一般化NSステップを含むMUONオプティマイザの一般化変種を提案し、研究する。 検討されたオプティマイザは、MUONを元のNS多項式でカバーし、MUONと最近提案されたPolar Express法を特別なケースとして組み合わせる。 単純クラス確率最適化問題 (SOPs) に対して、MUON が SOP の解に収束しないようなほとんどすべてのミニバッチサイズについて、勾配ステップの数が無限大に収束することを示す。 また, 一般化された NS ステップを用いたMUON の誤差解析を行い, 勾配ステップ数, ミニバッチサイズの観点から収束率を求める。 本稿では,2次確率最適化問題 (SOP) や二項分類の正規化ロジスティック回帰 ($\ell_2$ regularized logistic regression) など,いくつかの具体例でMUONの一般的な誤差解析について述べる。

関連論文リスト

• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order [39.25335214877435]
  ダウンストリームタスクに事前訓練されたモデルを適用するには、微調整大型言語モデル(LLM)が不可欠である。 従来の一階述語アルゴリズムは、モデルサイズであまりスケールしない、禁止的なメモリと計算コストを発生させる。 メモリと計算効率の代替としてゼロオーダー(ZO)最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T20:27:17Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• On the Promise of the Stochastic Generalized Gauss-Newton Method for Training DNNs [37.96456928567548]
  一般化されたガウスニュートン法(SGN)を用いてDNNの訓練を行う。 SGNは2次最適化法であり、効率の良い反復法であり、標準のSGDよりもはるかに少ない繰り返しを必要とすることがよく示される。 我々は,SGNが反復回数の点でSGDよりも大幅に改善されているだけでなく,実行時の点でも改善されていることを示す。 これは、私たちがTheanoディープラーニングプラットフォームで提案するSGNの効率的で使いやすく柔軟な実装によって実現されている。
  論文  参考訳（メタデータ） (2020-06-03T17:35:54Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。