論文の概要: Fictitious Play for Mean Field Games: Continuous Time Analysis and
Applications
- arxiv url: http://arxiv.org/abs/2007.03458v2
- Date: Mon, 26 Oct 2020 11:18:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 08:31:00.561103
- Title: Fictitious Play for Mean Field Games: Continuous Time Analysis and
Applications
- Title(参考訳): 平均フィールドゲームのための架空のプレイ:連続時間解析と応用
- Authors: Sarah Perrin, Julien Perolat, Mathieu Lauri\`ere, Matthieu Geist,
Romuald Elie, Olivier Pietquin
- Abstract要約: まず、連続時間有限プレイ過程の理論的収束解析を行い、誘導されたエクスプロイラビリティが$O(frac1t)$で減少することを示す。
ここでは,一般騒音の存在下での平均場競技における学習力学の収束を初めて行う。
- 参考スコア(独自算出の注目度): 36.76207130435722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we deepen the analysis of continuous time Fictitious Play
learning algorithm to the consideration of various finite state Mean Field Game
settings (finite horizon, $\gamma$-discounted), allowing in particular for the
introduction of an additional common noise.
We first present a theoretical convergence analysis of the continuous time
Fictitious Play process and prove that the induced exploitability decreases at
a rate $O(\frac{1}{t})$. Such analysis emphasizes the use of exploitability as
a relevant metric for evaluating the convergence towards a Nash equilibrium in
the context of Mean Field Games. These theoretical contributions are supported
by numerical experiments provided in either model-based or model-free settings.
We provide hereby for the first time converging learning dynamics for Mean
Field Games in the presence of common noise.
- Abstract(参考訳): 本稿では,有限状態平均場ゲーム設定(finite horizon,$\gamma$-discounted)を考慮し,連続時間架空の遊び学習アルゴリズムの解析を深め,特に追加のコモンノイズの導入を可能にする。
まず、連続時間有限プレイ過程の理論的収束解析を行い、誘導されたエクスプロイラビリティが$O(\frac{1}{t})$で減少することを示す。
このような分析は、平均フィールドゲームにおけるナッシュ均衡への収束を評価するための関連する指標として、搾取可能性の使用を強調している。
これらの理論的貢献は、モデルベースまたはモデルフリー設定で提供される数値実験によって支持される。
ここでは,共通雑音の存在下で平均フィールドゲームにおける学習ダイナミクスを収束させることを初めて提供する。
関連論文リスト
- Learning Nash Equilibria in Zero-Sum Markov Games: A Single Time-scale
Algorithm Under Weak Reachability [13.932957324139672]
我々は,ゼロサムゲームにおいて,プレイヤーが情報のみを閲覧し,相手の行動や支払いを行うような分散学習を検討する。
従来の研究は、強い到達可能性仮定の下で二重時間スケールのアルゴリズムを用いて、この設定でナッシュ均衡に収束することを示した。
我々の貢献は合理的で収束したアルゴリズムであり、Tsallis-Entropy regularization を値イテレーションに基づくアルゴリズムで利用している。
論文 参考訳(メタデータ) (2023-12-13T09:31:30Z) - On the Convergence of No-Regret Learning Dynamics in Time-Varying Games [89.96815099996132]
時間変化ゲームにおける楽観的勾配降下(OGD)の収束を特徴付ける。
我々のフレームワークは、ゼロサムゲームにおけるOGDの平衡ギャップに対して鋭い収束境界をもたらす。
また,静的ゲームにおける動的後悔の保証に関する新たな洞察も提供する。
論文 参考訳(メタデータ) (2023-01-26T17:25:45Z) - Learning Correlated Equilibria in Mean-Field Games [62.14589406821103]
我々は平均場相関と粗相関平衡の概念を発展させる。
ゲームの構造に関する仮定を必要とせず,効率よくゲーム内で学習できることが示される。
論文 参考訳(メタデータ) (2022-08-22T08:31:46Z) - A unified stochastic approximation framework for learning in games [82.74514886461257]
ゲームにおける学習の長期的挙動(連続的・有限的)を解析するためのフレキシブルな近似フレームワークを開発する。
提案する分析テンプレートには,勾配に基づく手法,有限ゲームでの学習のための指数的/乗算的重み付け,楽観的および帯域的変異など,幅広い一般的な学習アルゴリズムが組み込まれている。
論文 参考訳(メタデータ) (2022-06-08T14:30:38Z) - On the Convergence of Fictitious Play: A Decomposition Approach [17.607284715519587]
我々は、FP(Fictitious Play)の収束結果を、そのようなゲームとそれ以上の組み合わせに拡張する。
我々は,この2種類のゲームが相互に移動可能であるという意味で,協調と競争を統一する線形関係を構築している。
我々は、FPの非収束例であるShapleyゲームを分析し、FPが収束するのに十分な条件を開発する。
論文 参考訳(メタデータ) (2022-05-03T13:04:09Z) - Scaling up Mean Field Games with Online Mirror Descent [55.36153467919289]
オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。
連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。
様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
論文 参考訳(メタデータ) (2021-02-28T21:28:36Z) - Provable Fictitious Play for General Mean-Field Games [111.44976345867005]
静止平均場ゲームのための強化学習アルゴリズムを提案する。
目標は、ナッシュ均衡を構成する平均場状態と定常政策のペアを学ぶことである。
論文 参考訳(メタデータ) (2020-10-08T18:46:48Z) - Learning in Discounted-cost and Average-cost Mean-field Games [0.0]
非線形状態ダイナミクスを持つ離散時間平均場ゲームに対する学習的ナッシュ均衡について検討する。
まず、この演算子が縮約であることを証明し、近似平均場平衡を計算するための学習アルゴリズムを提案する。
次に、学習平均場平衡が有限エージェントゲームに対する近似ナッシュ平衡を構成することを示す。
論文 参考訳(メタデータ) (2019-12-31T14:05:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。