論文の概要: Properties of Fixed Points of Generalised Extra Gradient Methods Applied to Min-Max Problems
- arxiv url: http://arxiv.org/abs/2504.03069v1
- Date: Thu, 03 Apr 2025 22:48:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 21:37:22.998187
- Title: Properties of Fixed Points of Generalised Extra Gradient Methods Applied to Min-Max Problems
- Title(参考訳): 分極問題に応用した一般化超勾配法の固定点の特性
- Authors: Amir Ali Farzin, Yuen-Man Pun, Philipp Braun, Iman Shames,
- Abstract要約: min-max問題の目的関数のサドル点とEGG固定点との接続について議論する。
適切なステップサイズ選択の下では、サドル点の集合(ナッシュ平衡)が GEG の安定な固定点の部分集合であることを示す。
- 参考スコア(独自算出の注目度): 1.5674419547778062
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper studies properties of fixed points of generalised Extra-gradient (GEG) algorithms applied to min-max problems. We discuss connections between saddle points of the objective function of the min-max problem and GEG fixed points. We show that, under appropriate step-size selections, the set of saddle points (Nash equilibria) is a subset of stable fixed points of GEG. Convergence properties of the GEG algorithm are obtained through a stability analysis of a discrete-time dynamical system. The results and benefits when compared to existing methods are illustrated through numerical examples.
- Abstract(参考訳): 本稿では, min-max問題に適用した一般化外勾配(GEG)アルゴリズムの固定点の性質について検討する。
min-max問題の目的関数のサドル点とEGG固定点との接続について議論する。
適切なステップサイズ選択の下では、サドル点の集合(ナッシュ平衡)が GEG の安定な固定点の部分集合であることを示す。
GEGアルゴリズムの収束特性は離散時間力学系の安定性解析によって得られる。
既存手法と比較した場合の結果とメリットは, 数値的な例から説明できる。
関連論文リスト
- Min-Max Optimisation for Nonconvex-Nonconcave Functions Using a Random Zeroth-Order Extragradient Algorithm [1.8783693815869542]
制約なし、制約なし、差別化可能、差別化不可能な設定も検討する。
制約のない問題に対して、ZO-EGアルゴリズムのNC-NC目的関数の$epsilon$-stationary点近傍への収束を確立する。
非微分可能の場合、目的関数の滑らかなバージョンのエプシロン$定常点の近傍へのZO-EGアルゴリズムの収束を証明する。
論文 参考訳(メタデータ) (2025-04-10T02:15:30Z) - Accelerated stochastic approximation with state-dependent noise [7.4648480208501455]
勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。
このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。
SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
論文 参考訳(メタデータ) (2023-07-04T06:06:10Z) - Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and
Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。
ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。
本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文 参考訳(メタデータ) (2023-06-21T17:03:22Z) - Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。
我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。
ほぼ1つの定常収束点も勾配条件の下で成立する。
論文 参考訳(メタデータ) (2023-01-30T05:48:09Z) - Generalized Gradient Flows with Provable Fixed-Time Convergence and Fast
Evasion of Non-Degenerate Saddle Points [8.452349885923507]
グラディエントベースの1次凸最適化アルゴリズムは、機械学習タスクを含むさまざまな領域で広く適用可能である。
最適時間の固定時間理論の最近の進歩に触発されて,高速化最適化アルゴリズムを設計するための枠組みを導入する。
非ド・サドル点を許容する関数に対しては、これらのサドル点を避けるのに必要な時間は初期条件すべてに一様有界であることを示す。
論文 参考訳(メタデータ) (2022-12-07T16:36:23Z) - First-Order Algorithms for Min-Max Optimization in Geodesic Metric
Spaces [93.35384756718868]
min-maxアルゴリズムはユークリッド設定で解析されている。
指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
論文 参考訳(メタデータ) (2022-06-04T18:53:44Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - Stability and Generalization of Stochastic Gradient Methods for Minimax
Problems [71.60601421935844]
多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。
ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
論文 参考訳(メタデータ) (2021-05-08T22:38:00Z) - Boundary Conditions for Linear Exit Time Gradient Trajectories Around
Saddle Points: Analysis and Algorithm [9.69596041242667]
厳密なサドル点の景観における多目的関数の理解について述べる。
厳密なサドル点の最大値を持つ局所的な景観に収束する近傍の解析についても述べる。
論文 参考訳(メタデータ) (2021-01-07T16:59:15Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。