論文の概要: The Limit Points of (Optimistic) Gradient Descent in Min-Max Optimization

• arxiv url: http://arxiv.org/abs/1807.03907v2
• Date: Thu, 25 Sep 2025 19:21:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 20:10:04.106816
• Title: The Limit Points of (Optimistic) Gradient Descent in Min-Max Optimization
• Title（参考訳）: Min-Max最適化における(最適)グラディエントDescentの限界点
• Authors: Constantinos Daskalakis, Ioannis Panageas,
• Abstract要約: 我々は,2つの基本的な1次法,すなわちGDA(Gradient Descent/Ascent)とOGDA(Optimistic Gradient Descent Ascent)の限界点を特徴付ける。 小さなステップのサイズと穏やかな仮定では、OGDA安定臨界点の集合はGDA安定臨界点のスーパーセットであり、これは局所 min-max 解のスーパーセットである。
• 参考スコア（独自算出の注目度）: 31.185065331321734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by applications in Optimization, Game Theory, and the training of Generative Adversarial Networks, the convergence properties of first order methods in min-max problems have received extensive study. It has been recognized that they may cycle, and there is no good understanding of their limit points when they do not. When they converge, do they converge to local min-max solutions? We characterize the limit points of two basic first order methods, namely Gradient Descent/Ascent (GDA) and Optimistic Gradient Descent Ascent (OGDA). We show that both dynamics avoid unstable critical points for almost all initializations. Moreover, for small step sizes and under mild assumptions, the set of \{OGDA\}-stable critical points is a superset of \{GDA\}-stable critical points, which is a superset of local min-max solutions (strict in some cases). The connecting thread is that the behavior of these dynamics can be studied from a dynamical systems perspective.
• Abstract（参考訳）: 最適化やゲーム理論、ジェネレーティブ・ディバイサル・ネットワークのトレーニングなどの応用により、min-max問題における一階法の収束特性が広く研究されている。 サイクルがあると認識され、そうでないときの限界点について十分な理解が得られていない。 収束すると、局所的な min-max 解に収束するだろうか? 我々は,2つの基本1次法,すなわちGDA(Gradient Descent/Ascent)とOGDA(Optimistic Gradient Descent Ascent)の限界点を特徴付ける。 両動力学は、ほぼすべての初期化に対して不安定な臨界点を避けることが示される。 さらに、小さなステップのサイズと穏やかな仮定の下では、{OGDA\}-stable critical point の集合は、局所 min-max 解のスーパーセットである \{GDA\}-stable critical point のスーパーセットである。 接続スレッドは、これらの力学の挙動が力学系の観点から研究できるということである。

関連論文リスト

• Two-timescale Extragradient for Finding Local Minimax Points [8.056359341994941]
  ミニマックス問題の解法として, 2時間スケールのエクストラグレード法が有効であることを示す。 この研究は、局所ミニマックス点の発見に関する過去のすべての結果に対して、確実に改善する。
  論文  参考訳（メタデータ） (2023-05-25T16:52:26Z)
• STay-ON-the-Ridge: Guaranteed Convergence to Local Minimax Equilibrium in Nonconvex-Nonconcave Games [34.04699387005116]
  非競合対象に対してmin-maxサイクルを収束させることが保証される手法を提案する。 我々の方法は問題の潜在的な性質を満たすように設計されている。
  論文  参考訳（メタデータ） (2022-10-18T11:33:30Z)
• Efficiently Escaping Saddle Points in Bilevel Optimization [48.925688192913]
  バイレベル最適化は、機械学習における問題の1つだ。 双レベル最適化の最近の進歩は、最初の基本的非適応的多段階解析に収束する。
  論文  参考訳（メタデータ） (2022-02-08T07:10:06Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• A Decentralized Adaptive Momentum Method for Solving a Class of Min-Max Optimization Problems [9.653157073271021]
  我々は、min-max最適化問題を解決するために、分散適応運動量 (ADAM) 型アルゴリズムを開発した。 我々は、(確率的な)一階のナッシュ平衡点を求めるための提案アルゴリズムの非漸近収束率を求める。
  論文  参考訳（メタデータ） (2021-06-10T22:32:01Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Non-convex Min-Max Optimization: Applications, Challenges, and Recent Theoretical Advances [58.54078318403909]
  min-max問題(英: min-max problem)またはサドル点問題(英: saddle point problem)は、サムゲームにおいても研究されるクラス逆問題である。
  論文  参考訳（メタデータ） (2020-06-15T05:33:42Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。