論文の概要: Convergences for Minimax Optimization Problems over Infinite-Dimensional Spaces Towards Stability in Adversarial Training

• arxiv url: http://arxiv.org/abs/2312.00991v1
• Date: Sat, 2 Dec 2023 01:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 19:52:18.809745
• Title: Convergences for Minimax Optimization Problems over Infinite-Dimensional Spaces Towards Stability in Adversarial Training
• Title（参考訳）: 逆訓練における無限次元空間上のミニマックス最適化問題の収束
• Authors: Takashi Furuya, Satoshi Okuda, Kazuma Suetake, Yoshihide Sawada
• Abstract要約: GAN(Generative Adversarial Network)のような、敵の最適化を必要とするニューラルネットワークのトレーニングは不安定に悩まされる。 本研究では,機能解析を通じて理論的にこの問題に対処する。
• 参考スコア（独自算出の注目度）: 0.6008132390640294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural networks that require adversarial optimization, such as generative adversarial networks (GANs) and unsupervised domain adaptations (UDAs), suffers from instability. This instability problem comes from the difficulty of the minimax optimization, and there have been various approaches in GANs and UDAs to overcome this problem. In this study, we tackle this problem theoretically through a functional analysis. Specifically, we show the convergence property of the minimax problem by the gradient descent over the infinite-dimensional spaces of continuous functions and probability measures under certain conditions. Using this setting, we can discuss GANs and UDAs comprehensively, which have been studied independently. In addition, we show that the conditions necessary for the convergence property are interpreted as stabilization techniques of adversarial training such as the spectral normalization and the gradient penalty.
• Abstract（参考訳）: GAN(generative adversarial network)やUDA(unsupervised domain adapts)といった、敵の最適化を必要とするニューラルネットワークのトレーニングは不安定な状態にある。 この不安定性問題はミニマックス最適化の難しさから来ており、GANやUDAではこの問題を克服するための様々なアプローチがある。 本研究では,機能解析を通じて理論的にこの問題に取り組む。 具体的には、連続関数の無限次元空間上の勾配降下と、ある条件下での確率測度によるミニマックス問題の収束特性を示す。 この設定を用いて、独立して研究されているGANとUDAを包括的に議論することができる。 さらに, 収束特性に必要な条件は, スペクトル正規化や勾配ペナルティなどの対向訓練の安定化技術として解釈されることを示した。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• WANCO: Weak Adversarial Networks for Constrained Optimization problems [5.257895611010853]
  まず、拡張ラグランジアン法を用いてミニマックス問題をミニマックス問題に変換する。 次に、それぞれ原始変数と双対変数を表すために、2つの(または複数の)ディープニューラルネットワークを使用します。 ニューラルネットワークのパラメータは、敵のプロセスによって訓練される。
  論文  参考訳（メタデータ） (2024-07-04T05:37:48Z)
• Escaping limit cycles: Global convergence for constrained nonconvex-nonconcave minimax problems [46.71914490521821]
  本稿では,非コンケーブなミニマックス問題のクラスに対して,新たな漸進型アルゴリズムを提案する。 提案アルゴリズムは制約付き正規化問題に適用可能である。
  論文  参考訳（メタデータ） (2023-02-20T08:37:08Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems [10.112779201155005]
  3つの古典的ミニマックスアルゴリズム(AGDA, AscentGDA, Exgradient Method, EGM)の制限挙動について検討する。 本稿では,GAN(Generative Adrial Networks)において,全ての制限行動が発生しうることを数値的に観察し,様々なGAN問題に対して容易に実演できることを示す。
  論文  参考訳（メタデータ） (2020-10-20T21:14:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。