論文の概要: The Row Normalization Puzzle in Muon

• arxiv url: http://arxiv.org/abs/2609.39114v1
• Date: Wed, 30 Sep 2026 06:51:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.297038
• Title: The Row Normalization Puzzle in Muon
• Title（参考訳）: ムーンにおけるロー正規化プラグ
• Abstract要約: 本稿では,行ごとの計算再正規化がMuonに与える影響について検討する。 NorMuonの最悪のケース保証と実際のパフォーマンスのギャップに焦点を当てている。
• 参考スコア（独自算出の注目度）: 12.977441534320041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines how row-wise renormalization affects Muon, focusing on the gap between NorMuon's worst-case guarantees and its practical performance (Li et al.). Despite its growing adoption and promising performance in large language model (LLM) pretraining, NorMuon's worst-case guarantees remain poorly understood. One fundamental question is: Does row normalization yield provable convergence gains, potentially through its interaction with approximate polar computation and exponential moving-average momentum? Our results show that row normalization introduces a dimension-dependent factor in the worst-case iteration complexity under the operator-norm geometry, which persists even with exact polar computation and any fixed momentum parameters. Indeed, we establish an algorithm-dependent lower bound and a matching upper bound in deterministic settings, and extend our upper bound analysis to stochastic settings. Both upper-bound analyses allow approximate polar computation. Experiments show that NorMuon is slower than Muon on synthetic problems inspired by our worst-case construction, yet outperforms Muon in LLM pretraining. These findings sharpen the puzzle of why row normalization helps in practice and complement the recent findings of Dewulf et al.
• Abstract（参考訳）: 本稿では,NorMuonの最悪のケース保証と実用性能のギャップに着目し,行ごとの再正規化がMuonにどのように影響するかを検討する(Li et al )。 大規模言語モデル(LLM)の事前トレーニングで採用され、有望なパフォーマンスが向上しているにもかかわらず、NorMuonの最悪のケース保証はいまだに理解されていない。 行正規化は、近似極性計算と指数移動平均運動量との相互作用を通じて、証明可能な収束を得られるか? この結果から,行正規化は演算子-ノルム幾何の下で最悪の繰り返しの複雑度において次元依存因子を導入し,正確な極性計算や固定運動量パラメータを用いても持続することを示した。 実際、アルゴリズムに依存した下界と一致する上界を決定論的設定で確立し、上界解析を確率的設定に拡張する。 どちらの上界解析も近似極性計算を可能にする。 実験によると、NorMuonは、私たちの最悪のケース構築にインスパイアされた合成問題において、Muonよりも遅いが、LLMプレトレーニングではMuonより優れている。 これらの発見は、行正規化がなぜ実践に役立ち、最近のDewulfらの発見を補うのかというパズルを鮮明にする。

関連論文リスト

• Reassessing Muon for Matrix Factorization [9.691906492780353]
  Muonは、大規模なディープラーニングにおいて強力な競争相手として現れている。 簡単な、よく理解され、スペクトル的に構造化された問題(低ランク行列分解)について、Muonについて研究する。 この設定では、MuonはAdamWを一貫して上回るわけではない。
  論文  参考訳（メタデータ） (2026-07-14T20:21:38Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• Muon with Nesterov Momentum: Heavy-Tailed Noise and (Randomized) Inexact Polar Decomposition [11.258577546422295]
  我々は,非$行列最適化雑音における不正確な極分解の理論を開発する。 我々は、フルスペース法よりもはるかに効率的なランダム化された低ランク極性分解を解析する。
  論文  参考訳（メタデータ） (2026-05-07T19:32:39Z)
• Muon in Associative Memory Learning: Training Dynamics and Scaling Laws [23.350512542598803]
  We study Muon in a linear associative memory model with softmax search and ahierarchical frequency spectrum over query-apwer pairs。 我々は、Muonがこの不均衡を緩和し、より速く、より均一な進歩をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-05T14:49:40Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Muon Optimizes Under Spectral Norm Constraints [12.29696026957078]
  重み行列のスペクトルノルムに制約を課す最適化問題を暗黙的に解くことを示す。 この観点は、暗黙的に正規化され制約付き最適化アルゴリズムのより広範なクラスを探索することを可能にする。
  論文  参考訳（メタデータ） (2025-06-18T01:32:39Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。