論文の概要: Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems

• arxiv url: http://arxiv.org/abs/2210.09382v1
• Date: Mon, 17 Oct 2022 19:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 14:14:36.321990
• Title: Tight Analysis of Extra-gradient and Optimistic Gradient Methods For Nonconvex Minimax Problems
• Title（参考訳）: 非凸ミニマックス問題に対する超勾配および楽観勾配法の厳密な解析
• Authors: Pouria Mahdavinia, Yuyang Deng, Haochuan Li, Mehrdad Mahdavi
• Abstract要約: 凸コンマックス問題に対する最適勾配上昇法(OGDA)が確立されているにもかかわらず、これらの手法の極小厳密性についてはほとんど分かっていない。 我々は,GAN(Generative Adversarial Networks)やロバストニューラルネットワークなど,複雑な非最小の現実問題を解くための理論EGDA手法の理解を支援する実験を行う。
• 参考スコア（独自算出の注目度）: 14.45488378956343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the established convergence theory of Optimistic Gradient Descent Ascent (OGDA) and Extragradient (EG) methods for the convex-concave minimax problems, little is known about the theoretical guarantees of these methods in nonconvex settings. To bridge this gap, for the first time, this paper establishes the convergence of OGDA and EG methods under the nonconvex-strongly-concave (NC-SC) and nonconvex-concave (NC-C) settings by providing a unified analysis through the lens of single-call extra-gradient methods. We further establish lower bounds on the convergence of GDA/OGDA/EG, shedding light on the tightness of our analysis. We also conduct experiments supporting our theoretical results. We believe our results will advance the theoretical understanding of OGDA and EG methods for solving complicated nonconvex minimax real-world problems, e.g., Generative Adversarial Networks (GANs) or robust neural networks training.
• Abstract（参考訳）: 楽観的勾配降下法(ogda)と凸凸ミニマックス問題の超勾配法(eg)の確立された収束理論にもかかわらず、非凸設定におけるこれらの方法の理論的保証についてはほとんど知られていない。 このギャップを埋めるために,本論文では, 単呼外勾配法のレンズによる統一解析を提供することにより, 非凸凹(NC-SC)および非凸凹(NC-C)設定下でのOGDA法とEG法の収束を初めて確立する。 さらに,GDA/OGDA/EGの収束度を低くし,分析の厳密性に光を当てる。 理論的結果を支持する実験も行います。 我々は,GAN(Generative Adversarial Networks)やロバストニューラルネットワークトレーニングなど,複雑な非凸ミニマックスの問題を解くためのOGDA法とEG法の理論的理解を進めていくと信じている。

関連論文リスト

• Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
  本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2024-10-27T22:52:08Z)
• Towards Sharper Risk Bounds for Minimax Problems [23.380477456114118]
  ミニマックス問題は、敵対的、堅牢な最適化、強化学習といった機械学習で成功している。 理論解析では、現在の最適余剰リスク境界は一般化誤差と強強コンケーブ(SC-SC)における1/nレートによって構成される。 我々は、経験的サドル点(GDA)、勾配降下(DA)、勾配降下(SG)などの一般的なアルゴリズムを分析する。 ミニマックス問題の結果より n 倍早く導出する。
  論文  参考訳（メタデータ） (2024-10-11T03:50:23Z)
• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Error Analysis and Numerical Algorithm for PDE Approximation with Hidden-Layer Concatenated Physics Informed Neural Networks [0.9693477883827689]
  本稿では,隠れた物理情報ニューラルネットワーク(HLConcPINN)を提案する。 隠れたフィードフォワードニューラルネットワーク、修正されたブロックタイムマーチング戦略、偏微分方程式(PDE)を近似するための物理情報アプローチを組み合わせる。 本手法の近似誤差は, 長期間の地平線を有する動的シミュレーションのトレーニング損失によって効果的に制御できることを示す。
  論文  参考訳（メタデータ） (2024-06-10T15:12:53Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Near-Optimal Decentralized Momentum Method for Nonconvex-PL Minimax Problems [39.197569803430646]
  最小限の最適化は、敵対的ネットワーク(GAN)や敵対的トレーニングなど、多くの機械学習タスクにおいて重要な役割を果たす。 近年,ミニマックス問題の解法として多種多様な最適化手法が提案されているが,そのほとんどは分散設定を無視している。
  論文  参考訳（メタデータ） (2023-04-21T11:38:41Z)
• Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
  ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。 本稿では,2種類のミニマックスアルゴリズムを提案する。 そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
  論文  参考訳（メタデータ） (2023-02-08T01:42:45Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Improved Analysis of Clipping Algorithms for Non-convex Optimization [19.507750439784605]
  最近、citetzhang 2019gradient show that clipped (stochastic) Gradient Descent (GD) converges faster than vanilla GD/SGD。 実験は、深層学習におけるクリッピングに基づく手法の優位性を確認する。
  論文  参考訳（メタデータ） (2020-10-05T14:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。