Fugu-MT 論文翻訳(概要): Nonsmooth Optimization via Orthogonalized Momentum

論文の概要: Nonsmooth Optimization via Orthogonalized Momentum

arxiv url: http://arxiv.org/abs/2609.13677v1
Date: Sat, 12 Sep 2026 03:08:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.084199
Title: Nonsmooth Optimization via Orthogonalized Momentum
Title（参考訳）: orthogonalized Momentumによる非滑らかな最適化
Abstract要約: すべての固定運動量因子 $in[0,1)$ に対して、ムオンは凸リプシッツの目的として大域最適解に近づくことができないことを示す。本稿では,運動量と勾配を結合したMAGDを提案する。
参考スコア（独自算出の注目度）: 11.546795991978613
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern real application problems involve matrix-valued parameters, yet conventional optimizers treat them as vectors, thereby motivating matrix-aware methods that exploit input-output geometry, such as Muon which orthogonalizes the momentum matrices before parameter updates. Its empirical success raises a conceptual question: can orthogonalized momentum remain effective beyond smooth optimization? This paper studies this question for locally Lipschitz functions using a generalized derivative framework compatible with backpropagation. Our first contribution is to identify a key limitation: for every fixed momentum factor $β\in[0,1)$, Muon can fail to approach the global optimal solution of a convex Lipschitz objective from almost every initialization, when step sizes adapt to the full gradient history. The failure can occur even along bounded iterates. Our example is inspired by the one of Parshakova et al. which only covers $β\in[0,\frac{1}{2})$. Then, we show that the obstruction lies in fixed momentum rather than orthogonalization. Indeed, when the momentum factor is adaptive and approaches 1 together with a vanishing step size, Muon recovers asymptotic convergence for nonconvex nonsmooth optimization under the boundedness and regularity conditions. Moreover, we propose MAGD, which combines orthogonalized momentum with gradient, weighted based on their relative progress. MAGD retains asymptotic convergence in nonconvex settings and achieves an $O(\min\{m,n\}ε^{-2})$ rate in convex settings. A lower bound shows the optimal dimension dependence. Experiments on synthetic problems, image classification, and LLM pretraining show MAGD is a simple and practical alternative to Muon. Together, our results characterize when orthogonalized momentum fails without smoothness and how it can be made reliable and we hope that the analysis may be useful more broadly.
Abstract（参考訳）: 現代の実アプリケーション問題には行列値パラメータが含まれるが、従来のオプティマイザはベクトルとして扱うため、パラメータ更新の前に運動量行列を直交するMuonのような入力出力幾何を利用する行列認識手法を動機付けている。その経験的成功は概念的な疑問を提起する: 直交運動量は滑らかな最適化を超えて有効か? 本稿では、バックプロパゲーションに適合する一般化微分フレームワークを用いて、局所リプシッツ関数に対するこの問題を考察する。固定運動量係数 $β\in[0,1)$ に対して、ムーンは、ほとんどすべての初期化から凸リプシッツの目的の大域的最適解に近づくことができず、ステップサイズが全勾配履歴に適応する。障害は、境界付けられたイテレーションに沿っても発生します。私たちの例は、$β\in[0,\frac{1}{2})$のみをカバーする Parshakova et al の例にインスパイアされている。そして、障害は直交化よりも固定運動量にあることを示す。実際、運動量係数が適応的であり、消滅するステップサイズと共に 1 に近づくと、ムーンは有界性と正則性条件の下で非凸非滑らかな最適化に対する漸近収束を回復する。さらに,直交運動量と勾配を結合したMAGDを提案する。 MAGDは非凸設定における漸近収束を維持し、凸設定における$O(\min\{m,n\}ε^{-2})$レートを達成する。下界は最適次元依存性を示す。合成問題, 画像分類, LLM事前学習実験は, Muon の簡易かつ実用的な代替品である。このようにして、直交運動量が滑らかさを伴わずに失敗し、それをいかにして信頼性の高いものにするかを特徴付けるとともに、分析がより広く役立つことを期待する。

関連論文リスト

Muse: Representation Geometry of Muon Beyond Normalized Momentum [26.90642116529718]
ミューオン型は行列運動量に対して極写像を適用するが、その更新は曲率化前の各パラメータブロックの表現にも依存する。我々は、同じ運動量規則とニュートンの運動量規則を共有するムオンスタイルの族であるメソッドを導入する。バランスのとれた非ネイティブ表現はネイティブ表現と一致するが、より短い次元の縮小はスケーリングと特異チャネルのサポートを弱め、正規化運動量の増加につながる。
論文参考訳（メタデータ） (2026-07-16T03:42:21Z)
OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
閉ループスカラー運動量を示す。最適化はムオン型運動量と組み合わせることができる。雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。これらの結果は,OptMuon-Aがノイズレートを達成することを示す。 (T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。 (T-1/2+)
論文参考訳（メタデータ） (2026-06-07T18:59:24Z)
Negative Momentum for Convex-Concave Optimization [7.509121810863555]
本稿では、min-max最適化の文脈における運動量を再考する。 Momentumは凸最小化のような設定で動的を加速するための有名なメカニズムである。負の運動量によって、既知よりもはるかに早く、より一般的に収束できることを示す。
論文参考訳（メタデータ） (2026-04-18T20:55:49Z)
Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
論文参考訳（メタデータ） (2026-01-20T00:08:31Z)
Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning [1.0282274843007797]
外部補間(QMME)フレームワークを導入し,その逐次収束特性を確立する。実効性を示すために,大規模カーネル正規化学習問題にQMMEを適用した。
論文参考訳（メタデータ） (2025-07-06T05:17:28Z)
Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文参考訳（メタデータ） (2024-03-06T22:24:05Z)
ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。本手法の主な考え方は,状況認識による$alphaの適応である。これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文参考訳（メタデータ） (2023-09-12T14:36:13Z)
Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-12-19T14:48:54Z)
Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文参考訳（メタデータ） (2022-07-05T03:08:27Z)
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文参考訳（メタデータ） (2022-06-17T06:10:20Z)
Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
閉形式解によって最適化できる新しいサロゲートを開発する。そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
論文参考訳（メタデータ） (2022-03-04T08:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。