論文の概要: Dissipative Gradient Descent Ascent Method: A Control Theory Inspired Algorithm for Min-max Optimization

• arxiv url: http://arxiv.org/abs/2403.09090v1
• Date: Thu, 14 Mar 2024 04:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 21:47:12.322700
• Title: Dissipative Gradient Descent Ascent Method: A Control Theory Inspired Algorithm for Min-max Optimization
• Title（参考訳）: 散逸勾配Descent Ascent Method: Min-max Optimizationのための制御理論に基づくアルゴリズム
• Authors: Tianqi Zheng, Nicolas Loizou, Pengcheng You, Enrique Mallada,
• Abstract要約: 散逸性GDA法は、状態拡張および正規化サドル関数上で標準GDAを実行すると見なすことができる。 両線形および強凸凸凸凹面におけるDGDAの線形収束性を示す。
• 参考スコア（独自算出の注目度）: 12.165263783903216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient Descent Ascent (GDA) methods for min-max optimization problems typically produce oscillatory behavior that can lead to instability, e.g., in bilinear settings. To address this problem, we introduce a dissipation term into the GDA updates to dampen these oscillations. The proposed Dissipative GDA (DGDA) method can be seen as performing standard GDA on a state-augmented and regularized saddle function that does not strictly introduce additional convexity/concavity. We theoretically show the linear convergence of DGDA in the bilinear and strongly convex-strongly concave settings and assess its performance by comparing DGDA with other methods such as GDA, Extra-Gradient (EG), and Optimistic GDA. Our findings demonstrate that DGDA surpasses these methods, achieving superior convergence rates. We support our claims with two numerical examples that showcase DGDA's effectiveness in solving saddle point problems.
• Abstract（参考訳）: min-max最適化問題に対するグラディエントDescent Ascent (GDA) 法は、一般にバイリニア設定において不安定となる振動挙動を生じさせる。 この問題に対処するため,これらの振動を抑えるため,GDA更新に散逸項を導入する。 The proposed Dissipative GDA (DGDA) method can be seen as a standard GDA on a state-augmented and regularized saddle function that can not introduce additional convexity/concavity。 理論的には、DGDAの線形収束と、強く凸凸な凹凸の設定を示し、DGDAをGDA、EG、Optimistic GDAなどの他の手法と比較することにより、その性能を評価する。 以上の結果から, DGDAはこれらの手法を超越し, 収束率に優れていたことが示唆された。 DGDAのサドル点問題の解法における有効性を示す2つの数値例で,本主張を支持した。

関連論文リスト

• Fundamental Benefit of Alternating Updates in Minimax Optimization [15.170534286366744]
  Gradient Descent-Ascent gradients (GDA) アルゴリズムは、最小限の最適化問題を解決するために設計されている。 Alt-GDAはイテレーションを早く収束させるのが一般的であるが、両者のパフォーマンスギャップはまだよく理解されていない。 本稿では,強いコンケーブとリプシッツの勾配目的に対する両アルゴリズムの微細収束解析について述べる。
  論文  参考訳（メタデータ） (2024-02-16T06:41:35Z)
• Guidance with Spherical Gaussian Constraint for Conditional Diffusion [43.055380192497964]
  拡散モデルの最近の進歩は、訓練を必要とせず、異なる損失関数をガイダンスに利用することで条件付き生成タスクを処理しようとするものである。 これらの手法は一定の成功を収めたが、しばしばサンプルの品質を妥協し、小さなガイダンスのステップサイズを必要とする。 本稿では, 損失誘導を行う際に, サンプリング過程における多様体偏差の基本的な問題を明らかにする。
  論文  参考訳（メタデータ） (2024-02-05T17:12:21Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data [0.261072980439312]
  非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。 理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
  論文  参考訳（メタデータ） (2023-03-01T02:13:22Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Randomized Stochastic Gradient Descent Ascent [37.887266927498395]
  既存のアルゴリズムの堅牢性や逆転性といった機械学習問題の増加には、損失関数を最小化する必要がある。 より単純な理論解析によるループサイズを持つESGDAの変種であるRSGDA(Randomized SGD)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T16:44:19Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Transferable Calibration with Lower Bias and Variance in Domain Adaptation [139.4332115349543]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインへの学習マシンの転送を可能にする。 DAモデルの予測的不確実性を推定する方法は、安全クリティカルなシナリオにおける意思決定に不可欠である。 TransCalは既存のDAメソッドの校正に簡単に適用できる。
  論文  参考訳（メタデータ） (2020-07-16T11:09:36Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• An Optimal Multistage Stochastic Gradient Method for Minimax Problems [8.615625517708324]
  滑らかかつ強凸な凹凸配置におけるミニマックス最適化問題について検討する。 まず, 定常ステップサイズでグラディエントDescent Ascent (GDA) 法を解析した。 本稿では,学習速度の減衰スケジュールを多段階に設定した多段階型GDAを提案する。
  論文  参考訳（メタデータ） (2020-02-13T18:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。