論文の概要: Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives

• arxiv url: http://arxiv.org/abs/2501.17122v1
• Date: Tue, 28 Jan 2025 18:13:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:40:00.158949
• Title: Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives
• Title（参考訳）: 2時間勾配勾配勾配上昇ダイナミクスの収束性:有限次元および平均場視点
• Authors: Jing An, Jianfeng Lu,
• Abstract要約: 2時間勾配勾配勾配アルゴリズム(GDA)は、min-maxゲームにおいてナッシュ平衡を求めるために設計された標準勾配アルゴリズムである。 学習速度比が有限次元および平均場設定の収束挙動に及ぼす影響について検討した。
• 参考スコア（独自算出の注目度）: 6.740173664466834
• License:
• Abstract: The two-timescale gradient descent-ascent (GDA) is a canonical gradient algorithm designed to find Nash equilibria in min-max games. We analyze the two-timescale GDA by investigating the effects of learning rate ratios on convergence behavior in both finite-dimensional and mean-field settings. In particular, for finite-dimensional quadratic min-max games, we obtain long-time convergence in near quasi-static regimes through the hypocoercivity method. For mean-field GDA dynamics, we investigate convergence under a finite-scale ratio using a mixed synchronous-reflection coupling technique.
• Abstract（参考訳）: 2時間勾配勾配勾配アルゴリズム(GDA)は、min-maxゲームにおいてナッシュ平衡を求めるために設計された標準勾配アルゴリズムである。 有限次元と平均場の両方の設定における収束挙動に及ぼす学習率比の影響を調べた2時間GDAの分析を行った。 特に、有限次元の2次元 min-max ゲームの場合、準静的に近い状態における長時間の収束は低保磁力法によって得られる。 平均場GDAダイナミクスに対しては、混合同期反射結合法を用いて有限スケール比での収束について検討する。

関連論文リスト

• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Dynamics of correlation spreading in low-dimensional transverse-field Ising models [0.0]
  1(1D)と2次元(2D)における横場イジングモデルにおける磁気乱れ状態から始まる量子クエンチ後の相関の動的拡散について検討する。 いくつかの手法を用いて縦・横スピン相関関数を等時解析する。 本研究は, 将来のリブ・ロビンソン境界の相関拡散と理論的洗練に関する量子シミュレーション実験に有用なベンチマークを提供する。
  論文  参考訳（メタデータ） (2023-01-04T02:02:21Z)
• Two-Scale Gradient Descent Ascent Dynamics Finds Mixed Nash Equilibria of Continuous Games: A Mean-Field Perspective [5.025654873456756]
  2プレイヤーゼロ和連続ゲームにおける混合ナッシュ平衡(MNE)の発見は、機械学習において重要かつ困難な問題である。 まず, エントロピー正規化対象のMNEを求めるために, 2次元平均場GDAダイナミクスの収束について検討する。
  論文  参考訳（メタデータ） (2022-12-17T03:44:35Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。