論文の概要: Muon Does Not Converge on Convex Lipschitz Functions

• arxiv url: http://arxiv.org/abs/2605.08980v1
• Date: Sat, 09 May 2026 14:47:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.004278
• Title: Muon Does Not Converge on Convex Lipschitz Functions
• Title（参考訳）: Muonは凸リプシッツ関数に収束しない
• Abstract要約: ムオンが凸函数とリプシッツ函数のクラスに収束しないことが示される。 また, 誤差フィードバックは, 運動量を持つムオンおよび非ユークリッド下次手法の収束を復元することを示した。
• 参考スコア（独自算出の注目度）: 21.865874149576214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon and its variants have shown strong empirical performance in a variety of deep learning tasks. Existing convergence analyses of Muon rely on smoothness assumptions, though arguably the most successful function class for developing deep learning methods (such as AdaGrad, Shampoo, Schedule-Free and more) has been the class of convex and Lipschitz functions. In this paper we question whether the classical convex Lipschitz model is a useful one for understanding Muon. Our answer is no. We show that Muon does not converge on the class of convex and Lipschitz functions, regardless of the choice of learning rate schedule. We also show that error feedback restores convergence of Muon and all the non-Euclidean subgradient methods with momentum. However, this theoretical fix using error feedback degrades the performance of Muon in two representative settings for image classification (CIFAR-10) and language modeling (nanoGPT on FineWeb-Edu 10B). Our conclusion is that convex Lipschitz theory, despite having a prominent role in the design of practical methods for deep learning, is not the most suited one for Muon. This suggests that Muon's success must come from structure absent from this model, most plausibly related to smoothness.
• Abstract（参考訳）: Muonとその変種は、様々なディープラーニングタスクにおいて、強い経験的パフォーマンスを示している。 既存のムオンの収束解析は滑らかな仮定に依存しているが、深層学習法(AdaGrad, Shampoo, Schedule-Freeなど)を開発する上で最も成功した関数クラスは凸関数とリプシッツ関数のクラスである。 本稿では,古典凸リプシッツモデルがムオンの理解に有用かどうかを考察する。 私たちの答えはノーです。 学習速度スケジュールの選択にかかわらず,Muonは凸関数とリプシッツ関数のクラスに収束しないことを示す。 また, 誤差フィードバックは, 運動量を持つムオンおよび非ユークリッド下次手法の収束を復元することを示した。 しかし、この誤差フィードバックを用いた理論的修正は、画像分類(CIFAR-10)と言語モデリング(NanoGPT on FineWeb-Edu 10B)の2つの代表的な設定において、Muonの性能を劣化させる。 我々の結論は、凸リプシッツ理論は、深層学習のための実践的手法の設計において顕著な役割を担っているにもかかわらず、ミュオンにとって最も適していないというものである。 このことは、ムオンの成功は、このモデルから欠落した構造によるものでなければならないことを示唆している。

関連論文リスト

• Muon as a Residual Connection [4.242184336943779]
  Muonは、大規模なニューラルネットワークをトレーニングするための最も効果的な保存の1つとして登場した。 我々は,ミュオンをトレーニング中に暗黙的な残差接続と解釈できる機構的解釈を提案する。
  論文  参考訳（メタデータ） (2026-07-01T16:12:24Z)
• Spectral Flattening Is All Muon Needs: How Orthogonalization Controls Learning Rate and Convergence [15.754779716816174]
  ムオンの最大安定ステップサイズは、最大ではなく、勾配の平均特異値でスケールすることを示す。 我々はMuonを事前条件付き勾配法として再評価し、Kronecker-factored curvatureモデルの下で有効収束係数を改善することを示す。
  論文  参考訳（メタデータ） (2026-05-13T06:54:01Z)
• Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
  正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。 ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。 また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
  論文  参考訳（メタデータ） (2026-05-11T19:42:48Z)
• To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters [16.624341041698013]
  Muonはおそらく、トレーニング速度が優れているため、最も人気がある。 本稿では、このスピードアップを駆動するメカニズムから生じる潜在的な欠点について検討する。 Muonはタスク間の共通基盤構造を明らかにするのに苦労しており、刺激的な特徴に適合する傾向にある。
  論文  参考訳（メタデータ） (2026-02-28T17:37:15Z)
• Muon+: Towards Better Muon via One Additional Normalization Step [18.816463168231618]
  我々は,ミュオンの簡易かつ効果的な拡張,すなわちミュオン+を提案する。 モデルスケールとアーキテクチャの広範な事前学習実験を通じて,Muon+の有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-25T04:04:00Z)
• Muon is Provably Faster with Momentum Variance Reduction [55.388203260208485]
  近年の実証研究により、線形線形オラクル(LMO)に基づく深層学習が特に選択された非ユーデアンよりも優れていることが示された。 アダム型学習法は,大規模言語モデルの最小化よりも優れている。
  論文  参考訳（メタデータ） (2025-12-18T14:38:39Z)
• FedMuon: Federated Learning with Bias-corrected LMO-based Optimization [36.00641661700195]
  我々は,ミュオンがフェデレートラーニングにどのように活用できるかを考察した。 我々はFedMuonが最先端のフェデレーション学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-30T14:45:12Z)
• Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
  機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
  論文  参考訳（メタデータ） (2025-09-30T10:04:08Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Learning a Diffusion Model Policy from Rewards via Q-Score Matching [93.0191910132874]
  本稿では,拡散モデルポリシの構造を学習されたQ-関数に関連付ける理論的枠組みを提案する。 本稿では,この理論からQスコアマッチングを示す新しいポリシー更新手法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T23:31:01Z)
• Lipschitzness Is All You Need To Tame Off-policy Generative Adversarial Imitation Learning [52.50288418639075]
  本稿では,非政治的生成的対人模倣学習の事例について考察する。 学習した報酬関数を局所的なリプシッツ連続関数に強制することは、その手法がうまく動作するための正準非条件であることを示す。
  論文  参考訳（メタデータ） (2020-06-28T20:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。