論文の概要: Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems

• arxiv url: http://arxiv.org/abs/2312.01127v2
• Date: Fri, 16 Feb 2024 07:16:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 19:42:59.434933
• Title: Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems
• Title（参考訳）: 分布最小値問題に対する対称平均場ランゲヴィンダイナミクス
• Authors: Juno Kim, Kakei Yamamoto, Kazusato Oko, Zhuoran Yang, Taiji Suzuki
• Abstract要約: 平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
• 参考スコア（独自算出の注目度）: 78.96969465641024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we extend mean-field Langevin dynamics to minimax optimization over probability distributions for the first time with symmetric and provably convergent updates. We propose mean-field Langevin averaged gradient (MFL-AG), a single-loop algorithm that implements gradient descent ascent in the distribution spaces with a novel weighted averaging, and establish average-iterate convergence to the mixed Nash equilibrium. We also study both time and particle discretization regimes and prove a new uniform-in-time propagation of chaos result which accounts for the dependency of the particle interactions on all previous distributions. Furthermore, we propose mean-field Langevin anchored best response (MFL-ABR), a symmetric double-loop algorithm based on best response dynamics with linear last-iterate convergence. Finally, we study applications to zero-sum Markov games and conduct simulations demonstrating long-term optimality.
• Abstract（参考訳）: 本稿では, 平均場ランゲヴィンダイナミクスを, 対称的かつ確実に収束した更新を用いて, 確率分布に対する最小限の最適化に拡張する。 分散空間における勾配勾配勾配を新しい重み付け平均化で実現し,混合ナッシュ平衡に対する平均点収束性を確立する一ループアルゴリズムである平均場ランゲヴィン平均勾配(MFL-AG)を提案する。 また, 時間と粒子の離散化のレジームについても検討し, 粒子間相互作用のすべての分布依存性を考慮し, カオス結果の新たな一様化を証明した。 さらに,線形ラストイテレート収束を伴う最良応答ダイナミクスに基づく対称二重ループアルゴリズムである平均場ランジュバンアンカーベストレスポンス(mfl-abr)を提案する。 最後に,ゼロサムマルコフゲームに適用し,長期最適性を示すシミュレーションを行う。

関連論文リスト

• An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling [27.882407333690267]
  本研究では, 先行拡散を用いた改良型ランゲヴィンアルゴリズムが, 強対数対数対象分布に対して独立に次元を収束させることができることを示す。 また、修正したランゲヴィンアルゴリズムは、異なるステップサイズスケジュールを持つKL発散の次元非依存収束も得ることを証明した。
  論文  参考訳（メタデータ） (2024-03-10T11:50:34Z)
• Proximal Algorithms for Accelerated Langevin Dynamics [57.08271964961975]
  我々は,確率化Nesterovスキームに基づくMCMCアルゴリズムの新たなクラスを開発する。 統計処理と画像処理の異なるモデルに対して,Langevinサンプルよりも提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T19:56:01Z)
• Accelerated Bayesian imaging by relaxed proximal-point Langevin sampling [4.848683707039751]
  本稿では, 画像逆問題におけるベイズ推定を行うために, マルコフ近位連鎖モンテカルロ法を提案する。 モロー・ヨシダの滑らか化によって滑らかにあるいは正規化されるモデルに対しては、中間点は過度に損傷されたランゲヴィン拡散の暗黙の離散化と等価である。 kappa$-strongly log-concaveのターゲットに対しては、提供された非漸近収束解析も最適な時間ステップを特定する。
  論文  参考訳（メタデータ） (2023-08-18T10:55:49Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Resolving the Mixing Time of the Langevin Algorithm to its Stationary Distribution for Log-Concave Sampling [34.66940399825547]
  本稿では,Langevinアルゴリズムの定常分布に対する混合時間の特徴について述べる。 本稿では,差分プライバシー文献からサンプリング文献へのアプローチを紹介する。
  論文  参考訳（メタデータ） (2022-10-16T05:11:16Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。