論文の概要: Train simultaneously, generalize better: Stability of gradient-based minimax learners

• arxiv url: http://arxiv.org/abs/2010.12561v1
• Date: Fri, 23 Oct 2020 17:44:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:16:55.421836
• Title: Train simultaneously, generalize better: Stability of gradient-based minimax learners
• Title（参考訳）: 列車を同時に一般化する:勾配に基づくミニマックス学習者の安定性
• Authors: Farzan Farnia, Asuman Ozdaglar
• Abstract要約: コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。 学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
• 参考スコア（独自算出の注目度）: 12.691047660244331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of minimax learning problems of generative adversarial networks (GANs) has been observed to depend on the minimax optimization algorithm used for their training. This dependence is commonly attributed to the convergence speed and robustness properties of the underlying optimization algorithm. In this paper, we show that the optimization algorithm also plays a key role in the generalization performance of the trained minimax model. To this end, we analyze the generalization properties of standard gradient descent ascent (GDA) and proximal point method (PPM) algorithms through the lens of algorithmic stability under both convex concave and non-convex non-concave minimax settings. While the GDA algorithm is not guaranteed to have a vanishing excess risk in convex concave problems, we show the PPM algorithm enjoys a bounded excess risk in the same setup. For non-convex non-concave problems, we compare the generalization performance of stochastic GDA and GDmax algorithms where the latter fully solves the maximization subproblem at every iteration. Our generalization analysis suggests the superiority of GDA provided that the minimization and maximization subproblems are solved simultaneously with similar learning rates. We discuss several numerical results indicating the role of optimization algorithms in the generalization of the learned minimax models.
• Abstract（参考訳）: GAN(Generative Adversarial Network)のミニマックス学習問題の成功は、トレーニングに使用されるミニマックス最適化アルゴリズムに依存することが観察されている。 この依存性は一般に、基礎となる最適化アルゴリズムの収束速度とロバスト性に起因する。 本稿では,訓練されたミニマックスモデルの一般化性能において,最適化アルゴリズムが重要な役割を果たすことを示す。 この目的のために、凸凹および非凸凹のミニマックス設定下でのアルゴリズム安定性のレンズを用いて、標準勾配降下勾配法(GDA)および近点法(PPM)アルゴリズムの一般化特性を解析した。 GDAアルゴリズムは凸凹問題において余剰リスクが消滅することが保証されていないが、PPMアルゴリズムが同じ設定で有界余剰リスクを享受していることを示す。 非凸非凸問題に対して、確率的GDAアルゴリズムとGDmaxアルゴリズムの一般化性能を比較する。 一般化分析により,GDAの優位性が示唆され,最小化と最大化のサブプロブレムが同様の学習速度で同時に解決される。 学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。

関連論文リスト

• Towards Sharper Risk Bounds for Minimax Problems [23.380477456114118]
  ミニマックス問題は、敵対的、堅牢な最適化、強化学習といった機械学習で成功している。 理論解析では、現在の最適余剰リスク境界は一般化誤差と強強コンケーブ(SC-SC)における1/nレートによって構成される。 我々は、経験的サドル点(GDA)、勾配降下(DA)、勾配降下(SG)などの一般的なアルゴリズムを分析する。 ミニマックス問題の結果より n 倍早く導出する。
  論文  参考訳（メタデータ） (2024-10-11T03:50:23Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Smoothed Analysis of Sequential Probability Assignment [16.090378928208885]
  本稿では,情報理論的に最適であるminmaxレートと,最大極大推定器オラクルを含むアルゴリズム削減の枠組みについて検討する。 提案手法は,スムーズな逆数に対する逐次確率割当のためのミニマックスレートから,トランスダクティブ学習のためのミニマックスレートへの汎用的な削減を実現する。
  論文  参考訳（メタデータ） (2023-03-08T19:25:57Z)
• Adaptive Federated Minimax Optimization with Lower Complexities [82.51223883622552]
  本稿では,これらのミニマックス問題の解法として,適応最小最適化アルゴリズム(AdaFGDA)を提案する。 運動量に基づく還元および局所SGD技術を構築し、様々な適応学習率を柔軟に組み込む。
  論文  参考訳（メタデータ） (2022-11-14T12:32:18Z)
• Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning [12.069630105460766]
  AltGDA(Alternating Table-descentascent)は、様々な機械学習アプリケーションで広く使われている計算最適化アルゴリズムである。 本論文では,最小限の最適化問題を解くために,単一ループの高速なループ勾配計算アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-12-22T04:33:27Z)
• A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems [4.261680642170457]
  非回帰問題に対する PMM (proximal-proximal majorization-minimization) アルゴリズムを提案する。 提案アルゴリズムは既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2021-06-25T15:07:13Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
  分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。 提案アルゴリズムの有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T16:49:29Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems [39.13924898972611]
  非minimaxewicz問題は、生成的対向ネットワークと対向学習の応用において頻繁に現れる。 一定の大きさのGDAアルゴリズムは凸設定でも潜在的に分岐する可能性がある。 AGDAアルゴリズムは、サブレートに達する速度でグローバルに収束する。
  論文  参考訳（メタデータ） (2020-02-22T04:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。