論文の概要: Convergence of Time-Averaged Mean Field Gradient Descent Dynamics for Continuous Multi-Player Zero-Sum Games
- arxiv url: http://arxiv.org/abs/2505.07642v1
- Date: Mon, 12 May 2025 15:12:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.448113
- Title: Convergence of Time-Averaged Mean Field Gradient Descent Dynamics for Continuous Multi-Player Zero-Sum Games
- Title（参考訳）: 連続多人数ゼロサムゲームにおける平均平均平均平均平均場勾配ダイナミクスの収束性
- Authors: Yulong Lu, Pierre Monmarché,
- Abstract要約: 平均場を相互作用するプレイヤーを持つゼロサムゲームに対する混合ナッシュ均衡(MNE)は、最近機械学習に大きな関心を寄せている。
平均場降下勾配ダイナミクスを用いて、K$とKgeq 2$のプレイヤーを含むゼロサムゲームのMNEを求める。
MNEを見つけるための従来の2つのスケールのアプローチとは異なり、我々のアプローチはすべてのプレイヤータイプを同じ時間スケールで扱う。
- 参考スコア（独自算出の注目度）: 4.910937238451485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The approximation of mixed Nash equilibria (MNE) for zero-sum games with mean-field interacting players has recently raised much interest in machine learning. In this paper we propose a mean-field gradient descent dynamics for finding the MNE of zero-sum games involving $K$ players with $K\geq 2$. The evolution of the players' strategy distributions follows coupled mean-field gradient descent flows with momentum, incorporating an exponentially discounted time-averaging of gradients. First, in the case of a fixed entropic regularization, we prove an exponential convergence rate for the mean-field dynamics to the mixed Nash equilibrium with respect to the total variation metric. This improves a previous polynomial convergence rate for a similar time-averaged dynamics with different averaging factors. Moreover, unlike previous two-scale approaches for finding the MNE, our approach treats all player types on the same time scale. We also show that with a suitable choice of decreasing temperature, a simulated annealing version of the mean-field dynamics converges to an MNE of the initial unregularized problem.
- Abstract（参考訳）: 平均場相互作用選手によるゼロサムゲームに対する混合ナッシュ平衡(MNE)の近似は、最近、機械学習に大きな関心を寄せている。
本稿では,$K\geq 2$のプレイヤーを含むゼロサムゲームのMNEを求めるための平均場勾配勾配ダイナミクスを提案する。
プレイヤーの戦略分布の進化は、平均場勾配降下流と運動量とを結合し、指数関数的に減少する勾配の時間変動を取り入れた。
第一に、固定エントロピー正則化の場合、平均場力学から混合ナッシュ平衡への指数収束速度を全変動計量に対して証明する。
これにより、異なる平均因子を持つ同様の時間平均ダイナミクスに対する以前の多項式収束率が改善される。
さらに,MNEを見つけるための従来の2段階のアプローチとは異なり,我々の手法はすべてのプレイヤータイプを同じ時間スケールで扱う。
また, 温度低下に適した選択により, 平均場力学の模擬焼鈍バージョンが初期非正規化問題のMNEに収束することを示す。
関連論文リスト
- On Separation Between Best-Iterate, Random-Iterate, and Last-Iterate Convergence of Learning in Games [71.73971094342349]
ゲームにおける学習力学の非エルゴード収束は、理論と実践の両方において重要であるため、広く研究されている。
近年の研究では、最適乗算重み更新を含む学習力学の幅広いクラスが、任意に遅い最終項目収束を示すことが示されている。
OMWUは、同じクラスのゲームにおいて、その遅い最終点収束とは対照的に、$O(T-1/6)$est-iterate convergence rateを達成することを示す。
論文 参考訳（メタデータ） (2025-03-04T17:49:24Z) - Independent RL for Cooperative-Competitive Agents: A Mean-Field Perspective [11.603515105957461]
強化学習(RL:Reinforcement Learning)とは、各チーム内で協力するが、異なるチーム間での一般競争があるように、チームにグループ化されるエージェントのひとつです。
論文 参考訳（メタデータ） (2024-03-17T21:11:55Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳（メタデータ） (2023-12-02T13:01:29Z) - On the Convergence of No-Regret Learning Dynamics in Time-Varying Games [89.96815099996132]
時間変化ゲームにおける楽観的勾配降下(OGD)の収束を特徴付ける。
我々のフレームワークは、ゼロサムゲームにおけるOGDの平衡ギャップに対して鋭い収束境界をもたらす。
また,静的ゲームにおける動的後悔の保証に関する新たな洞察も提供する。
論文 参考訳（メタデータ） (2023-01-26T17:25:45Z) - Global Nash Equilibrium in Non-convex Multi-player Game: Theory and
Algorithms [66.8634598612777]
ナッシュ均衡(NE)はマルチプレイヤーゲームにおいて全てのプレイヤーに受け入れられることを示す。
また、一般理論から一歩ずつ一方的に利益を得ることはできないことも示している。
論文 参考訳（メタデータ） (2023-01-19T11:36:50Z) - Two-Scale Gradient Descent Ascent Dynamics Finds Mixed Nash Equilibria
of Continuous Games: A Mean-Field Perspective [5.025654873456756]
2プレイヤーゼロ和連続ゲームにおける混合ナッシュ平衡(MNE)の発見は、機械学習において重要かつ困難な問題である。
まず, エントロピー正規化対象のMNEを求めるために, 2次元平均場GDAダイナミクスの収束について検討する。
論文 参考訳（メタデータ） (2022-12-17T03:44:35Z) - Provably convergent quasistatic dynamics for mean-field two-player
zero-sum games [10.39511271647025]
我々は、ある確率分布がワッセルシュタイン勾配の流れに従うような準静的ワッセルシュタイン勾配流れのダイナミクスを考察し、他方の確率分布は常に平衡状態にある。
確率分布の連続力学に着想を得て、内外反復を伴う擬静的なランゲヴィン勾配降下法を導出する。
論文 参考訳（メタデータ） (2022-02-15T20:19:42Z) - A mean-field analysis of two-player zero-sum games [46.8148496944294]
混合ナッシュ平衡はより一般的に存在し、ミラー降下によって見られる。
我々は、この力学をワッサーシュタイン-フィッシャー-ラオ計量によって与えられる測度空間上の相互作用する勾配流として研究する。
本手法は高次元の混合平衡を同定し, GANの混合の訓練に有効であることを示す。
論文 参考訳（メタデータ） (2020-02-14T22:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。