論文の概要: Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2601.19400v2
• Date: Thu, 29 Jan 2026 06:17:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 14:13:19.946759
• Title: Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
• Title（参考訳）: 非凸最適化のためのミューオン最適化器の収束率の改善
• Authors: Shuntaro Nagashima, Hideaki Iiduka,
• Abstract要約: 我々は、直接的かつ単純化された解析により、ムオンに対するよりシャープな収束保証を確立する。 その結果,より広範な問題設定を網羅しながら,より高速な収束率を実現することにより,既存の限界を改善することができた。
• 参考スコア（独自算出の注目度）: 7.2620484413601325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Muon optimizer has recently attracted attention due to its orthogonalized first-order updates, and a deeper theoretical understanding of its convergence behavior is essential for guiding practical applications; however, existing convergence guarantees are either coarse or obtained under restrictive analytical settings. In this work, we establish sharper convergence guarantees for the Muon optimizer through a direct and simplified analysis that does not rely on restrictive assumptions on the update rule. Our results improve upon existing bounds by achieving faster convergence rates while covering a broader class of problem settings. These findings provide a more accurate theoretical characterization of Muon and offer insights applicable to a broader class of orthogonalized first-order methods.
• Abstract（参考訳）: ミューオンオプティマイザは直交した一階更新のために近年注目を集めており、その収束挙動の深い理論的理解は実用的応用の導出に不可欠であるが、既存の収束保証は粗いか限定的な分析条件下で得られる。 本研究では,更新規則の制約的仮定に依存しない直接的かつ簡易な解析により,ミュオン最適化器に対するよりシャープな収束保証を確立する。 その結果,より広範な問題設定を網羅しながら,より高速な収束率を実現することにより,既存の限界を改善することができた。 これらの発見は、ムオンのより正確な理論的特徴を与え、より広範な直交一階法のクラスに適用可能な洞察を与える。

関連論文リスト

• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• On the Convergence of Muon and Beyond [31.900178928104648]
  分散の低減により、Muon-MVR2 が最適な複雑性を達成できるという最初の証明を提供する。 全体として、この研究はムオン形式の最適性の最初の証明を提供する。
  論文  参考訳（メタデータ） (2025-09-19T09:43:37Z)
• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対という観点からヘッセンのノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
  エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。 エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。 提案手法は(線形速度で)大域的最適値に収束することが示されている。
  論文  参考訳（メタデータ） (2022-06-03T16:26:38Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。