論文の概要: Reinforcement Learning for Finite Space Mean-Field Type Games

• arxiv url: http://arxiv.org/abs/2409.18152v2
• Date: Wed, 04 Dec 2024 12:18:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 18:18:02.490051
• Title: Reinforcement Learning for Finite Space Mean-Field Type Games
• Title（参考訳）: 有限空間平均型ゲームのための強化学習
• Authors: Kai Shao, Jiacheng Shen, Chijie An, Mathieu Laurière,
• Abstract要約: 平均場型ゲームは、大連立間のナッシュ均衡を記述する。 有限空間設定でそのようなゲームに対する強化学習法を開発する。
• 参考スコア（独自算出の注目度）: 3.8207676009459886
• License:
• Abstract: Mean field type games (MFTGs) describe Nash equilibria between large coalitions: each coalition consists of a continuum of cooperative agents who maximize the average reward of their coalition while interacting non-cooperatively with a finite number of other coalitions. Although the theory has been extensively developed, we are still lacking efficient and scalable computational methods. Here, we develop reinforcement learning methods for such games in a finite space setting with general dynamics and reward functions. We start by proving that MFTG solution yields approximate Nash equilibria in finite-size coalition games. We then propose two algorithms. The first is based on quantization of mean-field spaces and Nash Q-learning. We provide convergence and stability analysis. We then propose a deep reinforcement learning algorithm, which can scale to larger spaces. Numerical experiments in 5 environments with mean-field distributions of dimension up to $200$ show the scalability and efficiency of the proposed method.
• Abstract（参考訳）: 平均フィールド型ゲーム(MFTG)は、大連立間のナッシュ均衡を記述している: 各連立は、連立の平均的な報酬を最大化し、他の連立の有限個の連立と非協力的に相互作用する協力的エージェントの連続体からなる。 この理論は広く開発されているが、効率的でスケーラブルな計算方法がまだ欠けている。 そこで本研究では,一般力学と報酬関数を備えた有限空間設定において,そのようなゲームに対する強化学習手法を開発する。 まず、MFTG解が有限サイズの連立ゲームにおいて近似的なナッシュ平衡をもたらすことを証明することから始める。 次に2つのアルゴリズムを提案する。 1つ目は平均場空間の量子化とナッシュQ学習に基づいている。 収束解析と安定性解析を提供する。 次に,大規模空間に拡張可能な深層強化学習アルゴリズムを提案する。 次元平均場分布が200ドルに達する5つの環境における数値実験は,提案手法のスケーラビリティと効率を示す。

関連論文リスト

• Last Iterate Convergence in Monotone Mean Field Games [5.407319151576265]
  Mean Field Game (MFG) は、多数のエージェントの振る舞いをモデル化し、近似するために使用されるフレームワークである。 本稿では,MFGの平衡を計算するために,単純な近点型アルゴリズムを提案する。 我々は、Lasry-Lions型単調性条件の下で、最初の最終点収束保証を提供する。
  論文  参考訳（メタデータ） (2024-10-07T15:28:18Z)
• Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning [43.004209289015975]
  平均フィールドゲーム(MFG)は、大規模マルチエージェントシステムを扱う能力を持つ。 本研究では,人口依存型ナッシュ均衡を実現するディープ強化学習(DRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-06T08:55:34Z)
• Neural Population Learning beyond Symmetric Zero-sum Games [52.20454809055356]
  我々はNuPL-JPSROという,スキルの伝達学習の恩恵を受けるニューラル集団学習アルゴリズムを導入し,ゲームの粗相関(CCE)に収束する。 本研究は, 均衡収束型集団学習を大規模かつ汎用的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-10T12:56:24Z)
• Global Nash Equilibrium in Non-convex Multi-player Game: Theory and Algorithms [66.8634598612777]
  ナッシュ均衡(NE)はマルチプレイヤーゲームにおいて全てのプレイヤーに受け入れられることを示す。 また、一般理論から一歩ずつ一方的に利益を得ることはできないことも示している。
  論文  参考訳（メタデータ） (2023-01-19T11:36:50Z)
• Learning Correlated Equilibria in Mean-Field Games [62.14589406821103]
  我々は平均場相関と粗相関平衡の概念を発展させる。 ゲームの構造に関する仮定を必要とせず,効率よくゲーム内で学習できることが示される。
  論文  参考訳（メタデータ） (2022-08-22T08:31:46Z)
• Learning Two-Player Mixture Markov Games: Kernel Function Approximation and Correlated Equilibrium [157.0902680672422]
  非線形関数近似を用いた2プレイヤーゼロサムマルコフゲームにおけるナッシュ平衡の学習について検討する。 双対性ギャップを最小化してナッシュ均衡を求める新しいオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-10T14:21:54Z)
• Learning in Congestion Games with Bandit Feedback [45.4542525044623]
  我々は、良質な理論構造と広い実世界の応用を持つゲームのクラスである混雑ゲームについて検討する。 まず,渋滞ゲームにおける不確実性原理に直面する楽観性に基づく集中型アルゴリズムを提案する。 次に,Frank-Wolfe法とG-Optimal設計を組み合わせた分散アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-04T02:32:26Z)
• Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence [30.084357461497042]
  状態空間と/またはプレイヤーの数が非常に大きいMPGのナッシュ均衡を学習する。 我々は,すべてのプレイヤーがタンデムで実行する独立ポリシー勾配アルゴリズムを提案する。 我々は、ゼロサムマルコフゲームとマルコフ協調ゲームの両方の収束性を楽しむ独立ポリシー勾配アルゴリズムのクラスを、ゲームの種類によらないプレイヤーと同定する。
  論文  参考訳（メタデータ） (2022-02-08T20:09:47Z)
• Kernelized Multiplicative Weights for 0/1-Polyhedral Games: Bridging the Gap Between Learning in Extensive-Form and Normal-Form Games [76.21916750766277]
  カーネルトリックを用いて,最適乗算重み更新(OMWU)アルゴリズムをゲームツリーサイズ毎のリニア時間でEFGの正規形等価値にシミュレート可能であることを示す。 特に、KoMWUは、最終点収束を同時に保証する最初のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-02-01T06:28:51Z)
• Towards convergence to Nash equilibria in two-team zero-sum games [17.4461045395989]
  2チームゼロサムゲームは、プレイヤーが2つの競合するエージェントに分割されるマルチプレイヤーゲームとして定義される。 我々はNash equilibria(NE)の解の概念に焦点をあてる。 このクラスのゲームに対する計算 NE は、複雑性クラス $mathrm$ に対して $textithard$ であることを示す。
  論文  参考訳（メタデータ） (2021-11-07T21:15:35Z)
• Provable Fictitious Play for General Mean-Field Games [111.44976345867005]
  静止平均場ゲームのための強化学習アルゴリズムを提案する。 目標は、ナッシュ均衡を構成する平均場状態と定常政策のペアを学ぶことである。
  論文  参考訳（メタデータ） (2020-10-08T18:46:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。