論文の概要: Learning Discrete-Time Major-Minor Mean Field Games
- arxiv url: http://arxiv.org/abs/2312.10787v1
- Date: Sun, 17 Dec 2023 18:22:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 14:32:10.367750
- Title: Learning Discrete-Time Major-Minor Mean Field Games
- Title（参考訳）: 離散時間大小平均フィールドゲーム学習
- Authors: Kai Cui, G\"ok\c{c}e Dayan{\i}kl{\i}, Mathieu Lauri\`ere, Matthieu
Geist, Olivier Pietquin, Heinz Koeppl
- Abstract要約: 本稿では,M3FG(Major-minor MFG)の新たな離散時間バージョンと,実演に基づく学習アルゴリズムを提案する。
M3FGは一般的な雑音でMFGを一般化し、ランダムな異種環境状態だけでなく、メジャープレイヤーも扱える。
- 参考スコア（独自算出の注目度）: 61.09249862334384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent techniques based on Mean Field Games (MFGs) allow the scalable
analysis of multi-player games with many similar, rational agents. However,
standard MFGs remain limited to homogeneous players that weakly influence each
other, and cannot model major players that strongly influence other players,
severely limiting the class of problems that can be handled. We propose a novel
discrete time version of major-minor MFGs (M3FGs), along with a learning
algorithm based on fictitious play and partitioning the probability simplex.
Importantly, M3FGs generalize MFGs with common noise and can handle not only
random exogeneous environment states but also major players. A key challenge is
that the mean field is stochastic and not deterministic as in standard MFGs.
Our theoretical investigation verifies both the M3FG model and its algorithmic
solution, showing firstly the well-posedness of the M3FG model starting from a
finite game of interest, and secondly convergence and approximation guarantees
of the fictitious play algorithm. Then, we empirically verify the obtained
theoretical results, ablating some of the theoretical assumptions made, and
show successful equilibrium learning in three example problems. Overall, we
establish a learning framework for a novel and broad class of tractable games.
- Abstract（参考訳）: 平均場ゲーム(MFG)に基づく最近の技術は、多くの類似した合理的エージェントを持つマルチプレイヤーゲームのスケーラブルな解析を可能にする。
しかし、標準のMFGは、互いに弱影響を及ぼす同種プレイヤーに限られており、他のプレイヤーに強く影響を及ぼす主要なプレイヤーをモデル化することができない。
本稿では,M3FGの離散時間バージョンと,実演に基づく学習アルゴリズムを提案する。
重要なことに、M3FGは一般的なノイズでMFGを一般化し、ランダムな異種環境状態だけでなく、メジャープレイヤーも扱える。
鍵となる課題は、平均場が確率的であり、標準MFGのように決定論的ではないことである。
我々の理論的研究は,M3FGモデルとそのアルゴリズム解の両方を検証し,まず,興味のゲームから始まるM3FGモデルの健全性を示し,第2に,架空のプレイアルゴリズムの収束と近似を保証する。
そして、得られた理論結果を実証的に検証し、理論的な仮定の一部を非難し、3つの例で平衡学習に成功したことを示す。
総じて、我々は、新しくて幅広い扱いやすいゲームの学習フレームワークを確立します。
関連論文リスト
- Exploiting Approximate Symmetry for Efficient Multi-Agent Reinforcement Learning [19.543995541149897]
我々は、任意の有限プレイヤー、おそらく非対称なゲームから「誘導MFG」に拡張する方法論を提供する。
まず、$N$-player の動的ゲームは、明示的な Kirszbraun 拡張によって、無限プレーヤ連続体に対称性を持ち、滑らかに拡張できることを示す。
単調性を満たす特定のゲームに対しては、$widetildemathcalO(varepsilon-6)$のサンプル複雑性を証明し、$N$エージェントゲームに対して、$varepsilon$-Nashを対称性バイアスまで学習する。
論文 参考訳（メタデータ） (2024-08-27T16:11:20Z) - Hardness of Independent Learning and Sparse Equilibrium Computation in
Markov Games [70.19141208203227]
マルコフゲームにおける分散型マルチエージェント強化学習の問題点を考察する。
我々は,全てのプレイヤーが独立に実行すると,一般のサムゲームにおいて,アルゴリズムが到達しないことを示す。
我々は,全てのエージェントが集中型アルゴリズムによって制御されるような,一見簡単な設定であっても,下位境界が保持されていることを示す。
論文 参考訳（メタデータ） (2023-03-22T03:28:12Z) - Mean Field Games on Weighted and Directed Graphs via Colored Digraphons [26.405495663998828]
グラフィオン平均場ゲーム(GMFGs)は、学習問題に対するスケーラブルで数学的に確立されたアプローチを提供する。
本稿では,エージェント間の重み付けと方向付けが可能なカラーディクソン平均フィールドゲーム(CDMFG)について紹介する。
論文 参考訳（メタデータ） (2022-09-08T15:45:20Z) - Learning Correlated Equilibria in Mean-Field Games [62.14589406821103]
我々は平均場相関と粗相関平衡の概念を発展させる。
ゲームの構造に関する仮定を必要とせず,効率よくゲーム内で学習できることが示される。
論文 参考訳（メタデータ） (2022-08-22T08:31:46Z) - Learning in Mean Field Games: A Survey [44.93300994923148]
平均フィールドゲームズ(MFG)は、プレイヤーの数を無限に増やすために平均フィールド近似に依存する。
MFGにおけるリベリアと社会的最適化のための強化学習法に関する最近の研究
本稿では,MFGを正確に解くための古典的反復法に関する一般的な枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:49:37Z) - Kernelized Multiplicative Weights for 0/1-Polyhedral Games: Bridging the
Gap Between Learning in Extensive-Form and Normal-Form Games [76.21916750766277]
カーネルトリックを用いて,最適乗算重み更新(OMWU)アルゴリズムをゲームツリーサイズ毎のリニア時間でEFGの正規形等価値にシミュレート可能であることを示す。
特に、KoMWUは、最終点収束を同時に保証する最初のアルゴリズムを提供する。
論文 参考訳（メタデータ） (2022-02-01T06:28:51Z) - Signatured Deep Fictitious Play for Mean Field Games with Common Noise [0.0]
平均場ゲーム(MFG)を共通のノイズで解くための既存のディープラーニング手法は、サンプリングされた共通のノイズパスを固定し、対応するMFGを解く。
そこで我々は,固定されていない共通雑音設定を用いてネストループ構造を回避できる新しい単一ループアルゴリズムを提案する。
提案アルゴリズムは,ニューラルネットワークのさらなるトレーニングを行うことなく,共通不確実性の変化が平均場平衡に与える影響を正確に把握することができる。
論文 参考訳（メタデータ） (2021-06-06T23:09:46Z) - Scaling up Mean Field Games with Online Mirror Descent [55.36153467919289]
オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。
連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。
様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
論文 参考訳（メタデータ） (2021-02-28T21:28:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。