論文の概要: Scaling up Mean Field Games with Online Mirror Descent
- arxiv url: http://arxiv.org/abs/2103.00623v1
- Date: Sun, 28 Feb 2021 21:28:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:45:45.529486
- Title: Scaling up Mean Field Games with Online Mirror Descent
- Title（参考訳）: オンラインミラーDescentで平均フィールドゲームを拡大
- Authors: Julien Perolat, Sarah Perrin, Romuald Elie, Mathieu Lauri\`ere,
Georgios Piliouras, Matthieu Geist, Karl Tuyls, Olivier Pietquin
- Abstract要約: オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。
連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。
様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
- 参考スコア（独自算出の注目度）: 55.36153467919289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address scaling up equilibrium computation in Mean Field Games (MFGs)
using Online Mirror Descent (OMD). We show that continuous-time OMD provably
converges to a Nash equilibrium under a natural and well-motivated set of
monotonicity assumptions. This theoretical result nicely extends to
multi-population games and to settings involving common noise. A thorough
experimental investigation on various single and multi-population MFGs shows
that OMD outperforms traditional algorithms such as Fictitious Play (FP). We
empirically show that OMD scales up and converges significantly faster than FP
by solving, for the first time to our knowledge, examples of MFGs with hundreds
of billions states. This study establishes the state-of-the-art for learning in
large-scale multi-agent and multi-population games.
- Abstract（参考訳）: オンラインミラーディサント(OMD)を用いた平均フィールドゲーム(MFG)における平衡計算のスケールアップに取り組んでいます。
連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。
この理論結果は、マルチ人口ゲームや一般的なノイズを含む設定にうまく拡張されます。
様々な単一および多集団のMFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
我々は、数十億の国家を持つMFGの例を初めて解くことにより、OCDがFPよりもスケールアップし、大幅に速く収束することを実証的に示しています。
この研究は、大規模なマルチエージェントおよびマルチ人口ゲームで学習するための最先端を確立します。
関連論文リスト
- MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games [5.778024594615575]
本稿では,シーケンシャルゲームのナッシュ平衡計算のためのオンライン平均場強化学習アルゴリズムを提案する。
MFOMLは、ナッシュ平衡を実証的に解くための、最初の完全近似マルチエージェント強化学習アルゴリズムである。
副生成物として、モノトーン平均場ゲームの近似計算のための最初のトラクタブル大域収束計算も得られる。
論文 参考訳（メタデータ） (2024-05-01T02:19:31Z) - Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。
エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。
我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文 参考訳（メタデータ） (2024-04-30T06:48:56Z) - Population-aware Online Mirror Descent for Mean-Field Games by Deep
Reinforcement Learning [43.004209289015975]
平均フィールドゲーム(MFG)は、大規模マルチエージェントシステムを扱う能力を持つ。
本研究では,人口依存型ナッシュ均衡を実現するディープ強化学習(DRL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-06T08:55:34Z) - Learning Discrete-Time Major-Minor Mean Field Games [61.09249862334384]
本稿では,M3FG(Major-minor MFG)の新たな離散時間バージョンと,実演に基づく学習アルゴリズムを提案する。
M3FGは一般的な雑音でMFGを一般化し、ランダムな異種環境状態だけでなく、メジャープレイヤーも扱える。
論文 参考訳（メタデータ） (2023-12-17T18:22:08Z) - Regularization of the policy updates for stabilizing Mean Field Games [0.2348805691644085]
本研究は,非協調型マルチエージェント強化学習(MARL)の研究である。
複数のエージェントが同じ環境で相互作用し、個々のリターンを最大化するMARL。
提案アルゴリズムは,MF-PPO (Mean Field Proximal Policy Optimization) と命名し,OpenSpielフレームワークにおける提案手法の有効性を実証的に示す。
論文 参考訳（メタデータ） (2023-04-04T05:45:42Z) - On the Convergence of No-Regret Learning Dynamics in Time-Varying Games [89.96815099996132]
時間変化ゲームにおける楽観的勾配降下(OGD)の収束を特徴付ける。
我々のフレームワークは、ゼロサムゲームにおけるOGDの平衡ギャップに対して鋭い収束境界をもたらす。
また,静的ゲームにおける動的後悔の保証に関する新たな洞察も提供する。
論文 参考訳（メタデータ） (2023-01-26T17:25:45Z) - On the Convergence of Fictitious Play: A Decomposition Approach [17.607284715519587]
我々は、FP(Fictitious Play)の収束結果を、そのようなゲームとそれ以上の組み合わせに拡張する。
我々は,この2種類のゲームが相互に移動可能であるという意味で,協調と競争を統一する線形関係を構築している。
我々は、FPの非収束例であるShapleyゲームを分析し、FPが収束するのに十分な条件を開発する。
論文 参考訳（メタデータ） (2022-05-03T13:04:09Z) - Equilibrium Refinements for Multi-Agent Influence Diagrams: Theory and
Practice [62.58588499193303]
マルチエージェント・インフルエンス・ダイアグラム(MAID)はグラフィカル・モデルの一般的な形式であり、特定のクラスのゲームに対して、従来の拡張形式ゲーム(EFG)表現よりも重要な複雑さと説明可能性の利点が示されている。
我々は、MAIDサブゲームの概念を導入し、サブゲームパーフェクトとハンドパーフェクトの均衡改善を導入することで、MAIDに関する以前の研究を拡張した。
論文 参考訳（メタデータ） (2021-02-09T18:20:50Z) - Chaos, Extremism and Optimism: Volume Analysis of Learning in Games [55.24050445142637]
本稿では,ゼロサムにおける乗算重み更新 (MWU) と最適乗算重み更新 (OMWU) のボリューム解析と協調ゲームについて述べる。
我々は、OMWUが、その既知の収束挙動の代替的な理解を提供するために、ボリュームを契約していることを示します。
我々はまた、コーディネートゲームを調べる際に役割が逆になるという意味で、自由ランチ型の定理も証明する: OMWU は指数関数的に高速に体積を拡大するが、MWU は契約する。
論文 参考訳（メタデータ） (2020-05-28T13:47:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。