論文の概要: Negative Momentum for Convex-Concave Optimization
- arxiv url: http://arxiv.org/abs/2604.17145v1
- Date: Sat, 18 Apr 2026 20:55:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.357876
- Title: Negative Momentum for Convex-Concave Optimization
- Title（参考訳）: 凸凹最適化のための負のモーメント
- Authors: Henry Shugart, Shuyi Wang, Jason M. Altschuler,
- Abstract要約: 本稿では、min-max最適化の文脈における運動量を再考する。
Momentumは凸最小化のような設定で動的を加速するための有名なメカニズムである。
負の運動量によって、既知よりもはるかに早く、より一般的に収束できることを示す。
- 参考スコア（独自算出の注目度）: 7.509121810863555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper revisits momentum in the context of min-max optimization. Momentum is a celebrated mechanism for accelerating gradient dynamics in settings like convex minimization, but its direct use in min-max optimization makes gradient dynamics diverge. Surprisingly, Gidel et al. 2019 showed that negative momentum can help fix convergence. However, despite these promising initial results and progress since, the power of momentum remains unclear for min-max optimization in two key ways. (1) Generality: is global convergence possible for the foundational setting of convex-concave optimization? This is the direct analog of convex minimization and is a standard testing ground for min-max algorithms. (2) Fast convergence: is accelerated convergence possible for strongly-convex-strong-concave optimization (the only non-linear setting where global convergence is known)? Recent work has even argued that this is impossible. We answer both these questions in the affirmative. Together, these results put negative momentum on more equal footing with competitor algorithms, and show that negative momentum enables convergence significantly faster and more generally than was known possible.
- Abstract（参考訳）: 本稿では、min-max最適化の文脈における運動量を再考する。
Momentumは凸最小化のような設定で勾配ダイナミクスを加速する有名なメカニズムであるが、min-max最適化で直接使用されることで勾配ダイナミクスが多様化する。
驚いたことに、Gidelらは2019年、負のモーメントが収束の修正に役立つことを示した。
しかしながら、これらの有望な初期結果とそれ以来の進歩にもかかわらず、運動量のパワーは2つの重要な方法でmin-max最適化において不明確である。
1)一般性:凸凹最適化の基本設定にグローバル収束は可能か?
これは凸最小化の直接的な類似であり、min-maxアルゴリズムの標準試験場である。
2) 高速収束: 強凸-強凸-凹面最適化において加速収束は可能か(大域収束が知られている唯一の非線形設定)?
最近の研究は、これは不可能だと主張している。
私たちはこの2つの質問に肯定的に答える。
これらの結果は、競合アルゴリズムと同等の足場に負の運動量を与え、負の運動量によって、既知よりもはるかに早く、より一般的に収束できることを示した。
関連論文リスト
- Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。
我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。
アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文 参考訳（メタデータ） (2022-10-31T17:59:29Z) - Accelerated Single-Call Methods for Constrained Min-Max Optimization [5.266784779001398]
既存の方法は、各イテレーションで2つのグラデーションコールか2つのプロジェクションを必要とする。
本稿では,RGOG(Optimistic Gradient)の変種が,非可換な min-max 収束率問題に富むことを示した。
私たちの収束率は、自然や自然のような標準の尺度に当てはまる。
論文 参考訳（メタデータ） (2022-10-06T17:50:42Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Convergence Rates of Two-Time-Scale Gradient Descent-Ascent Dynamics for
Solving Nonconvex Min-Max Problems [2.0305676256390934]
連立勾配降下指数アルゴリズムの連続時間変動の有限時間特性を特徴付ける。
連続時間アルゴリズムの挙動に関する結果は、離散時間アルゴリズムの収束特性を高めるために用いられる。
論文 参考訳（メタデータ） (2021-12-17T15:51:04Z) - Lower Bounds and Accelerated Algorithms for Bilevel Optimization [62.192297758346484]
バイレベル最適化は、最近の機械学習問題に広く応用されているため、近年、関心が高まりつつある。
結果がminimaxアプリケーションよりも難しいことを示します。
論文 参考訳（メタデータ） (2021-02-07T21:46:29Z) - On the Suboptimality of Negative Momentum for Minimax Optimization [9.400440302623839]
負の運動量によってゲームダイナミクスの収束は局所的に加速するが、最適以下の速度で加速することを示す。
これは、この設定において明示的な収束率運動量を与える最初の研究である。
論文 参考訳（メタデータ） (2020-08-17T16:34:53Z) - Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。
平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。
任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
論文 参考訳（メタデータ） (2020-06-16T20:53:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。