論文の概要: Solve Minimax Optimization by Anderson Acceleration
- arxiv url: http://arxiv.org/abs/2110.02457v1
- Date: Wed, 6 Oct 2021 02:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 14:09:23.537447
- Title: Solve Minimax Optimization by Anderson Acceleration
- Title（参考訳）: Anderson Acceleration によるミニマックス最適化の解法
- Authors: Huan He, Shifan Zhao, Yuanzhe Xi, Joyce C Ho, Yousef Saad
- Abstract要約: 勾配降下上昇(GDA)は、その単純さから最もよく使われるアルゴリズムである。
本稿では,GDA力学を固定点反復とみなす新しいミニマックス最適化フレームワークGDA-AMを提案する。
理論上,このアルゴリズムは温和条件下での双線形問題に対する大域収束を実現することができることを示す。
- 参考スコア（独自算出の注目度）: 5.900781483345349
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many modern machine learning algorithms such as generative adversarial
networks (GANs) and adversarial training can be formulated as minimax
optimization. Gradient descent ascent (GDA) is the most commonly used algorithm
due to its simplicity. However, GDA can converge to non-optimal minimax points.
We propose a new minimax optimization framework, GDA-AM, that views the
GDAdynamics as a fixed-point iteration and solves it using Anderson Mixing to
con-verge to the local minimax. It addresses the diverging issue of
simultaneous GDAand accelerates the convergence of alternating GDA. We show
theoretically that the algorithm can achieve global convergence for bilinear
problems under mild conditions. We also empirically show that GDA-AMsolves a
variety of minimax problems and improves GAN training on several datasets
- Abstract（参考訳）: generative adversarial networks(gans)やadversarial trainingといった現代の機械学習アルゴリズムの多くは、minimax最適化として定式化することができる。
勾配降下上昇(GDA)は、その単純さから最もよく使われるアルゴリズムである。
しかし、GDAは最適でない極小点に収束することができる。
本稿では,gdadynamics を固定点反復として,anderson mixed を用いて局所的 minimax に収束する新しい minimax 最適化フレームワーク gda-am を提案する。
同時GDAの発散問題に対処し、交互GDAの収束を加速する。
理論上,このアルゴリズムは温和条件下での双線形問題に対する大域収束を実現することができることを示す。
また、GDA-AMは様々なミニマックス問題を解き、複数のデータセットでのGANトレーニングを改善することを実証的に示す。
関連論文リスト
- Fundamental Benefit of Alternating Updates in Minimax Optimization [15.170534286366744]
Gradient Descent-Ascent gradients (GDA) アルゴリズムは、最小限の最適化問題を解決するために設計されている。
Alt-GDAはイテレーションを早く収束させるのが一般的であるが、両者のパフォーマンスギャップはまだよく理解されていない。
本稿では,強いコンケーブとリプシッツの勾配目的に対する両アルゴリズムの微細収束解析について述べる。
論文 参考訳（メタデータ） (2024-02-16T06:41:35Z) - Decentralized Riemannian Algorithm for Nonconvex Minimax Problems [82.50374560598493]
ニューラルネットワークのためのミニマックスアルゴリズムは、多くの問題を解決するために開発された。
本稿では,2種類のミニマックスアルゴリズムを提案する。
そこで我々は, DRSGDAを提案し, 本手法が勾配を達成することを証明した。
論文 参考訳（メタデータ） (2023-02-08T01:42:45Z) - Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。
運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
論文 参考訳（メタデータ） (2022-11-14T12:32:18Z) - Faster Single-loop Algorithms for Minimax Optimization without Strong
Concavity [30.97847679999505]
GDA(Gradient descent Ascent)は、GAN(Generative Adversarial Network)やGAN(Adversarial Network)といった実用用途で広く利用されている。
最近の研究は、一方のトレーニング結果に対する反復の理論において、GDAの収束率が劣っていることを示している。
本稿では, 1変数のpolyak-Lojasiewicz(PL)条件を満たすという軽微な仮定の下で, GDAと滑らかなGDAの交互化という2つの代替シングルループアルゴリズムを確立する。
論文 参考訳（メタデータ） (2021-12-10T15:35:42Z) - Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。
連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。
提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
論文 参考訳（メタデータ） (2021-11-01T21:06:35Z) - Don't Fix What ain't Broke: Near-optimal Local Convergence of
Alternating Gradient Descent-Ascent for Minimax Optimization [24.236441934607154]
交互降下度(Alt-GDA)は多くの設定において同時降下度(Sim-GDA)よりも優れている。
強凹問題に対してalt-gdaが最適に近い局所収束率を達成することを示す。
特に,Alt-GDAが強凹問題に対してほぼ最適局所収束率を達成することを証明した。
論文 参考訳（メタデータ） (2021-02-18T16:39:35Z) - Proximal Gradient Descent-Ascent: Variable Convergence under K{\L}
Geometry [49.65455534654459]
有限降下指数パラメータ (GDA) はミニマックス最適化問題の解法として広く応用されている。
本稿では、KL-L型幾何学の収束を研究することにより、そのようなギャップを埋める。
論文 参考訳（メタデータ） (2021-02-09T05:35:53Z) - Train simultaneously, generalize better: Stability of gradient-based
minimax learners [12.691047660244331]
コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。
学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
論文 参考訳（メタデータ） (2020-10-23T17:44:43Z) - Gradient Free Minimax Optimization: Variance Reduction and Faster
Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。
本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文 参考訳（メタデータ） (2020-06-16T17:55:46Z) - Learning to Optimize Non-Rigid Tracking [54.94145312763044]
我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。
まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。
次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
論文 参考訳（メタデータ） (2020-03-27T04:40:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。