論文の概要: Learning Correlated Equilibria in Mean-Field Games
- arxiv url: http://arxiv.org/abs/2208.10138v1
- Date: Mon, 22 Aug 2022 08:31:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 14:04:33.261429
- Title: Learning Correlated Equilibria in Mean-Field Games
- Title(参考訳): 平均場ゲームにおける学習相関平衡
- Authors: Paul Muller, Romuald Elie, Mark Rowland, Mathieu Lauriere, Julien
Perolat, Sarah Perrin, Matthieu Geist, Georgios Piliouras, Olivier Pietquin,
Karl Tuyls
- Abstract要約: 我々は平均場相関と粗相関平衡の概念を発展させる。
ゲームの構造に関する仮定を必要とせず,効率よくゲーム内で学習できることが示される。
- 参考スコア(独自算出の注目度): 62.14589406821103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The designs of many large-scale systems today, from traffic routing
environments to smart grids, rely on game-theoretic equilibrium concepts.
However, as the size of an $N$-player game typically grows exponentially with
$N$, standard game theoretic analysis becomes effectively infeasible beyond a
low number of players. Recent approaches have gone around this limitation by
instead considering Mean-Field games, an approximation of anonymous $N$-player
games, where the number of players is infinite and the population's state
distribution, instead of every individual player's state, is the object of
interest. The practical computability of Mean-Field Nash equilibria, the most
studied Mean-Field equilibrium to date, however, typically depends on
beneficial non-generic structural properties such as monotonicity or
contraction properties, which are required for known algorithms to converge. In
this work, we provide an alternative route for studying Mean-Field games, by
developing the concepts of Mean-Field correlated and coarse-correlated
equilibria. We show that they can be efficiently learnt in \emph{all games},
without requiring any additional assumption on the structure of the game, using
three classical algorithms. Furthermore, we establish correspondences between
our notions and those already present in the literature, derive optimality
bounds for the Mean-Field - $N$-player transition, and empirically demonstrate
the convergence of these algorithms on simple games.
- Abstract(参考訳): 現在、交通ルーティング環境からスマートグリッドに至るまで、多くの大規模システムの設計は、ゲーム理論の平衡概念に依存している。
しかし、通常、$N$-playerゲームのサイズが$N$で指数関数的に大きくなるにつれて、標準的なゲーム理論解析は低数のプレイヤーを超えて効果的に実現不可能になる。
近年のアプローチは、匿名の$N$-playerゲームの近似であるMean-Fieldゲームを考えることでこの制限を回避しており、プレイヤーの数は無限であり、個々のプレイヤーの状態ではなく、人口の国家分布が関心の対象である。
しかし、最も研究されている平均場平衡である平均場ナッシュ平衡の実用計算性は、通常、既知のアルゴリズムが収束するために必要な単調性や収縮性といった、有益な非遺伝的構造特性に依存する。
本研究では,平均フィールド相関と粗相関平衡の概念を発達させることにより,平均フィールドゲームを研究するための代替ルートを提供する。
3つの古典的アルゴリズムを用いて、ゲームの構造について追加の仮定を必要とせずに、より効率的に学習できることを示す。
さらに、文献にすでに存在する概念と対応性を確立し、平均-フィールド-$N$-プレイヤ遷移の最適性境界を導出し、これらのアルゴリズムの単純なゲーム上での収束を実証的に示す。
関連論文リスト
- Neural Population Learning beyond Symmetric Zero-sum Games [52.20454809055356]
我々はNuPL-JPSROという,スキルの伝達学習の恩恵を受けるニューラル集団学習アルゴリズムを導入し,ゲームの粗相関(CCE)に収束する。
本研究は, 均衡収束型集団学習を大規模かつ汎用的に実施可能であることを示す。
論文 参考訳(メタデータ) (2024-01-10T12:56:24Z) - Optimistic Policy Gradient in Multi-Player Markov Games with a Single
Controller: Convergence Beyond the Minty Property [89.96815099996132]
単一コントローラを用いたマルチプレイヤーゲームにおいて,楽観的なポリシー勾配手法を特徴付ける新しいフレームワークを開発した。
我々のアプローチは、我々が導入する古典的なミニティの自然一般化に依存しており、マルコフゲームを超えてさらなる応用が期待できる。
論文 参考訳(メタデータ) (2023-12-19T11:34:10Z) - Online Learning and Solving Infinite Games with an ERM Oracle [20.1330044382824]
本稿では,ERMオーラクルコールのみに依存するオンラインバイナリ分類設定のためのアルゴリズムを提案する。
我々は、実現可能な設定における有限の後悔と、不可知的な設定におけるサブリニアに成長する後悔が示される。
我々のアルゴリズムは二値ゲームと実値ゲームの両方に適用でき、大きなゲームを解く実践において、二重オラクルと多重オラクルのアルゴリズムを広く活用するための正当性を提供すると見なすことができる。
論文 参考訳(メタデータ) (2023-07-04T12:51:21Z) - Hardness of Independent Learning and Sparse Equilibrium Computation in
Markov Games [70.19141208203227]
マルコフゲームにおける分散型マルチエージェント強化学習の問題点を考察する。
我々は,全てのプレイヤーが独立に実行すると,一般のサムゲームにおいて,アルゴリズムが到達しないことを示す。
我々は,全てのエージェントが集中型アルゴリズムによって制御されるような,一見簡単な設定であっても,下位境界が保持されていることを示す。
論文 参考訳(メタデータ) (2023-03-22T03:28:12Z) - Global Nash Equilibrium in Non-convex Multi-player Game: Theory and
Algorithms [66.8634598612777]
ナッシュ均衡(NE)はマルチプレイヤーゲームにおいて全てのプレイヤーに受け入れられることを示す。
また、一般理論から一歩ずつ一方的に利益を得ることはできないことも示している。
論文 参考訳(メタデータ) (2023-01-19T11:36:50Z) - Finding mixed-strategy equilibria of continuous-action games without
gradients using randomized policy networks [83.28949556413717]
グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。
ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。
本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
論文 参考訳(メタデータ) (2022-11-29T05:16:41Z) - Learning in Multi-Player Stochastic Games [1.0878040851638]
有限ホライズン設定において、多くのプレイヤーとゲームにおける同時学習の問題を考える。
ゲームの典型的な対象解はナッシュ均衡であるが、これは多くのプレイヤーにとって難解である。
我々は異なるターゲットに目を向ける:全てのプレイヤーが使用するときの平衡を生成するアルゴリズム。
論文 参考訳(メタデータ) (2022-10-25T19:02:03Z) - Towards convergence to Nash equilibria in two-team zero-sum games [17.4461045395989]
2チームゼロサムゲームは、プレイヤーが2つの競合するエージェントに分割されるマルチプレイヤーゲームとして定義される。
我々はNash equilibria(NE)の解の概念に焦点をあてる。
このクラスのゲームに対する計算 NE は、複雑性クラス $mathrm$ に対して $textithard$ であることを示す。
論文 参考訳(メタデータ) (2021-11-07T21:15:35Z) - Algorithm for Computing Approximate Nash Equilibrium in Continuous Games
with Application to Continuous Blotto [1.7132914341329848]
連続ゲームにおけるナッシュ均衡戦略を近似する新しいアルゴリズムを提案する。
また,2プレイヤーゼロサムゲームに加えて,マルチプレイヤーゲームや不完全な情報を持つゲームにも適用できる。
論文 参考訳(メタデータ) (2020-06-12T19:53:18Z) - Learning in Discounted-cost and Average-cost Mean-field Games [0.0]
非線形状態ダイナミクスを持つ離散時間平均場ゲームに対する学習的ナッシュ均衡について検討する。
まず、この演算子が縮約であることを証明し、近似平均場平衡を計算するための学習アルゴリズムを提案する。
次に、学習平均場平衡が有限エージェントゲームに対する近似ナッシュ平衡を構成することを示す。
論文 参考訳(メタデータ) (2019-12-31T14:05:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。