論文の概要: Learning in Mean Field Games: A Survey

• arxiv url: http://arxiv.org/abs/2205.12944v3
• Date: Tue, 20 Feb 2024 18:56:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 21:52:54.504475
• Title: Learning in Mean Field Games: A Survey
• Title（参考訳）: 平均的フィールドゲームにおける学習:調査
• Authors: Mathieu Lauri\`ere, Sarah Perrin, Julien P\'erolat, Sertan Girgin, Paul Muller, Romuald \'Elie, Matthieu Geist, Olivier Pietquin
• Abstract要約: 平均フィールドゲームズ(MFG)は、プレイヤーの数を無限に増やすために平均フィールド近似に依存する。 MFGにおけるリベリアと社会的最適化のための強化学習法に関する最近の研究 本稿では,MFGを正確に解くための古典的反復法に関する一般的な枠組みを提案する。
• 参考スコア（独自算出の注目度）: 44.154293801251505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-cooperative and cooperative games with a very large number of players have many applications but remain generally intractable when the number of players increases. Introduced by Lasry and Lions, and Huang, Caines and Malham\'e, Mean Field Games (MFGs) rely on a mean-field approximation to allow the number of players to grow to infinity. Traditional methods for solving these games generally rely on solving partial or stochastic differential equations with a full knowledge of the model. Recently, Reinforcement Learning (RL) has appeared promising to solve complex problems at scale. The combination of RL and MFGs is promising to solve games at a very large scale both in terms of population size and environment complexity. In this survey, we review the quickly growing recent literature on RL methods to learn equilibria and social optima in MFGs. We first identify the most common settings (static, stationary, and evolutive) of MFGs. We then present a general framework for classical iterative methods (based on best-response computation or policy evaluation) to solve MFGs in an exact way. Building on these algorithms and the connection with Markov Decision Processes, we explain how RL can be used to learn MFG solutions in a model-free way. Last, we present numerical illustrations on a benchmark problem, and conclude with some perspectives.
• Abstract（参考訳）: 非常に多くのプレイヤーを持つ非協力的・協力的なゲームは、多くの応用があるが、プレイヤーの数が増えると一般には難解である。 Lasry and Lions と Huang, Caines and Malham\'e によって導入された Mean Field Games (MFGs) は、プレイヤーの数を無限に増やすための平均フィールド近似に頼っている。 これらのゲームを解く伝統的な方法は、モデルに関する完全な知識を持つ部分的あるいは確率的な微分方程式を解くことに依存している。 近年,強化学習(rl)が複雑な問題を大規模に解くことが期待されている。 RLとMFGの組み合わせは、人口規模と環境の複雑さの両方において、非常に大規模なゲームを解くことを約束している。 本稿では,MFGにおける平衡と社会的最適性を学習するためのRL法に関する最近の文献を概観する。 まず、MFGの最も一般的な設定(静的、定常、およびエボリューティブ)を特定する。 次に、MFGを正確に解くための古典的反復法(最適応答計算やポリシー評価に基づく)の一般的な枠組みを提案する。 これらのアルゴリズムとMarkov Decision Processesとの接続に基づいて、モデルのない方法でMFGソリューションを学習するためにRLをどのように使用できるかを説明する。 最後に,ベンチマーク問題に対する数値イラストを提示し,いくつかの観点で結論づける。

関連論文リスト

• Neural Population Learning beyond Symmetric Zero-sum Games [52.20454809055356]
  我々はNuPL-JPSROという,スキルの伝達学習の恩恵を受けるニューラル集団学習アルゴリズムを導入し,ゲームの粗相関(CCE)に収束する。 本研究は, 均衡収束型集団学習を大規模かつ汎用的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-10T12:56:24Z)
• Learning Discrete-Time Major-Minor Mean Field Games [61.09249862334384]
  本稿では,M3FG(Major-minor MFG)の新たな離散時間バージョンと,実演に基づく学習アルゴリズムを提案する。 M3FGは一般的な雑音でMFGを一般化し、ランダムな異種環境状態だけでなく、メジャープレイヤーも扱える。
  論文  参考訳（メタデータ） (2023-12-17T18:22:08Z)
• Hardness of Independent Learning and Sparse Equilibrium Computation in Markov Games [70.19141208203227]
  マルコフゲームにおける分散型マルチエージェント強化学習の問題点を考察する。 我々は,全てのプレイヤーが独立に実行すると,一般のサムゲームにおいて,アルゴリズムが到達しないことを示す。 我々は,全てのエージェントが集中型アルゴリズムによって制御されるような,一見簡単な設定であっても,下位境界が保持されていることを示す。
  論文  参考訳（メタデータ） (2023-03-22T03:28:12Z)
• Scalable Deep Reinforcement Learning Algorithms for Mean Field Games [60.550128966505625]
  平均フィールドゲーム (MFGs) は、非常に多くの戦略エージェントを持つゲームを効率的に近似するために導入された。 近年,モデルフリー強化学習(RL)手法を用いて,MFGの学習均衡の課題が活発化している。 MFGを解くための既存のアルゴリズムは戦略や$q$-valuesのような近似量の混合を必要とする。 本稿では,この欠点に対処する2つの手法を提案する。まず,歴史データの蒸留からニューラルネットワークへの混合戦略を学習し,Factitious Playアルゴリズムに適用する。 2つ目はオンライン混合方式である。
  論文  参考訳（メタデータ） (2022-03-22T18:10:32Z)
• Reinforcement Learning for Mean Field Games, with Applications to Economics [0.0]
  平均場ゲーム(MFG)および平均場制御問題(平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題)は、エージェントの連続体を持つゲームにおいてナッシュ平衡または社会的最適性を研究するためのフレームワークである。 本稿では,MFGとMFCのためのRLを用いた2つの時間スケールアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-25T16:45:04Z)
• Mean Field Games Flock! The Reinforcement Learning Way [34.67098179276852]
  本稿では,多数のエージェントが群れを学べるようにする方法を提案する。 これは多くの動物で観察される自然な行動である。 アルゴリズムが障害物を伴う多元群や高次元群れを学習できることを数値的に示す。
  論文  参考訳（メタデータ） (2021-05-17T15:17:36Z)
• Scaling up Mean Field Games with Online Mirror Descent [55.36153467919289]
  オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。 連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。 様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-28T21:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。