論文の概要: Two-timescale Extragradient for Finding Local Minimax Points
- arxiv url: http://arxiv.org/abs/2305.16242v1
- Date: Thu, 25 May 2023 16:52:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:41:59.308098
- Title: Two-timescale Extragradient for Finding Local Minimax Points
- Title(参考訳): 局所極小点探索のための2時間外勾配
- Authors: Jiseok Chae, Kyuwon Kim, Donghwan Kim
- Abstract要約: ミニマックス問題の解法として, 2時間スケールのエクストラグラディエントが有効であることを示す。
局所極小点の2階必要条件を満たす点に収束することを示す。
- 参考スコア(独自算出の注目度): 2.86829428083307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Minimax problems are notoriously challenging to optimize. However, we
demonstrate that the two-timescale extragradient can be a viable solution. By
utilizing dynamical systems theory, we show that it converges to points that
satisfy the second-order necessary condition of local minimax points, under a
mild condition. This work surpasses all previous results as we eliminate a
crucial assumption that the Hessian, with respect to the maximization variable,
is nondegenerate.
- Abstract(参考訳): Minimaxの問題は最適化するのがとても難しい。
しかし,二度スケールの超段階性が有効なソリューションであることを実証する。
力学系理論を用いて,局所ミニマックス点の2次必要条件を満たす点に軽度条件下で収束することを示す。
この研究は、最大化変数に関してヘッセンが非退化であるという決定的な仮定を排除するため、すべての以前の結果を上回る。
関連論文リスト
- Near-Optimal Algorithms for Making the Gradient Small in Stochastic
Minimax Optimization [14.719077076351377]
本研究では,スムーズなミニマックス最適化のための準定常点を求める問題について検討する。
Recursive IteratioNRAINと呼ばれる新しいアルゴリズムは凸凹と強凹の両方のケースを実現する。
論文 参考訳(メタデータ) (2022-08-11T16:55:26Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳(メタデータ) (2022-06-04T18:53:44Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。
連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。
提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
論文 参考訳(メタデータ) (2021-11-01T21:06:35Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - The Complexity of Constrained Min-Max Optimization [29.57458485068705]
十分大きな局所点 min-max が存在することが保証されていることを示す。
さらに重要なこととして、近似的な固定勾配 Descent/Ascent 近似が完成することを示す。
この結果は、2つの基本的な最適化問題の指数関数近似を初めて示したものである。
論文 参考訳(メタデータ) (2020-09-21T05:54:12Z) - The Landscape of the Proximal Point Method for Nonconvex-Nonconcave
Minimax Optimization [10.112779201155005]
Minimax PPMは、堅牢で強化された学習、GANなど、マシンラーニングの中心的なツールになっています。
これらの応用はしばしば非可逆であるが、既存の理論ではそれと根本的な困難を識別できない。
論文 参考訳(メタデータ) (2020-06-15T18:17:00Z) - Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave
Min-Max Problems with PL Condition [52.08417569774822]
本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
論文 参考訳(メタデータ) (2020-06-12T00:32:21Z) - Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max
Optimization [61.66927778694731]
エポッチ勾配降下法(エポッチ勾配降下法、Epoch-GD)は、2011年にHazan and Kaleによって提唱された。
Epoch-GDA が SCSC min-max 問題の双対性ギャップに対して$O (1/T) の最適レートを達成できることを示す最初の実験である。
論文 参考訳(メタデータ) (2020-02-13T02:16:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。