論文の概要: Learning in Discounted-cost and Average-cost Mean-field Games
- arxiv url: http://arxiv.org/abs/1912.13309v3
- Date: Thu, 10 Nov 2022 18:44:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 21:38:31.970894
- Title: Learning in Discounted-cost and Average-cost Mean-field Games
- Title（参考訳）: 安価・平均コスト平均フィールドゲームにおける学習
- Authors: Berkay Anahtarc{\i}, Can Deha Kar{\i}ks{\i}z, and Naci Saldi
- Abstract要約: 非線形状態ダイナミクスを持つ離散時間平均場ゲームに対する学習的ナッシュ均衡について検討する。
まず、この演算子が縮約であることを証明し、近似平均場平衡を計算するための学習アルゴリズムを提案する。
次に、学習平均場平衡が有限エージェントゲームに対する近似ナッシュ平衡を構成することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider learning approximate Nash equilibria for discrete-time mean-field
games with nonlinear stochastic state dynamics subject to both average and
discounted costs. To this end, we introduce a mean-field equilibrium (MFE)
operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in
the infinite population limit). We first prove that this operator is a
contraction, and propose a learning algorithm to compute an approximate
mean-field equilibrium by approximating the MFE operator with a random one.
Moreover, using the contraction property of the MFE operator, we establish the
error analysis of the proposed learning algorithm. We then show that the
learned mean-field equilibrium constitutes an approximate Nash equilibrium for
finite-agent games.
- Abstract（参考訳）: 非線形確率状態ダイナミクスを持つ離散時間平均場ゲームにおけるnash平衡の学習を平均値と割引値の両方のコストで検討する。
この目的のために、平均場平衡作用素を導入し、その固定点は平均場平衡(すなわち、無限の人口制限における平衡)である。
まず、この演算子が縮約であることを証明し、MFE演算子をランダムに近似して近似平均場平衡を計算する学習アルゴリズムを提案する。
さらに, MFE演算子の収縮特性を用いて, 提案した学習アルゴリズムの誤差解析を行う。
次に,学習平均場平衡が有限エージェントゲームに対する近似ナッシュ均衡を構成することを示す。
関連論文リスト
- Games played by Exponential Weights Algorithms [0.0]
各プレイヤーは、初期混合動作と固定学習率を特徴とする指数重み付けアルゴリズムを使用する。
厳密なナッシュ均衡が存在するときは常に、次の段階で厳密なナッシュ均衡を行う確率は、ほぼ確実に0または1に収束することを示す。
論文 参考訳（メタデータ） (2024-07-09T08:49:51Z) - MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games [5.778024594615575]
本稿では,シーケンシャルゲームのナッシュ平衡計算のためのオンライン平均場強化学習アルゴリズムを提案する。
MFOMLは、ナッシュ平衡を実証的に解くための、最初の完全近似マルチエージェント強化学習アルゴリズムである。
副生成物として、モノトーン平均場ゲームの近似計算のための最初のトラクタブル大域収束計算も得られる。
論文 参考訳（メタデータ） (2024-05-01T02:19:31Z) - Learning Nash Equilibria in Zero-Sum Markov Games: A Single Time-scale Algorithm Under Weak Reachability [11.793922711718645]
我々は,ゼロサムゲームにおいて,プレイヤーが情報のみを閲覧し,相手の行動や支払いを行うような分散学習を検討する。
従来の研究は、強い到達可能性仮定の下で二重時間スケールのアルゴリズムを用いて、この設定でナッシュ均衡に収束することを示した。
我々の貢献は合理的で収束したアルゴリズムであり、Tsallis-Entropy regularization を値イテレーションに基づくアルゴリズムで利用している。
論文 参考訳（メタデータ） (2023-12-13T09:31:30Z) - PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash
Equilibrium [62.51015395213579]
2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。
提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
論文 参考訳（メタデータ） (2023-03-02T05:08:15Z) - Differentiable Arbitrating in Zero-sum Markov Games [59.62061049680365]
ゼロサムマルコフゲームにおいて、2人のプレイヤーが望ましいナッシュ均衡、すなわち仲裁を誘導する報酬を摂動する方法を研究する。
低いレベルでは、与えられた報酬関数の下でのナッシュ均衡の解決が必要であり、それによって全体的な問題をエンドツーエンドで最適化することが難しくなる。
上層階の勾配フィードバックを提供するナッシュ平衡を微分するバックプロパゲーション方式を提案する。
論文 参考訳（メタデータ） (2023-02-20T16:05:04Z) - Learning Correlated Equilibria in Mean-Field Games [62.14589406821103]
我々は平均場相関と粗相関平衡の概念を発展させる。
ゲームの構造に関する仮定を必要とせず,効率よくゲーム内で学習できることが示される。
論文 参考訳（メタデータ） (2022-08-22T08:31:46Z) - Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。
無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。
本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-27T08:00:13Z) - On the Nash equilibrium of moment-matching GANs for stationary Gaussian
processes [2.25477613430341]
我々は、一貫したナッシュ均衡の存在は、判別器ファミリーの選択に大きく依存していることを示す。
さらに、一貫した平衡に向けた勾配降下法における局所安定性と大域収束について検討する。
論文 参考訳（メタデータ） (2022-03-14T14:30:23Z) - Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games [78.65798135008419]
一般的なゲームでStackelberg平衡を効率的に学習する方法は、サンプルから非常にオープンなままです。
本稿では,2プレーヤターンベース汎用ゲームにおけるStackelberg平衡のサンプル効率学習に関する理論的研究を開始する。
論文 参考訳（メタデータ） (2021-02-23T05:11:07Z) - A mean-field analysis of two-player zero-sum games [46.8148496944294]
混合ナッシュ平衡はより一般的に存在し、ミラー降下によって見られる。
我々は、この力学をワッサーシュタイン-フィッシャー-ラオ計量によって与えられる測度空間上の相互作用する勾配流として研究する。
本手法は高次元の混合平衡を同定し, GANの混合の訓練に有効であることを示す。
論文 参考訳（メタデータ） (2020-02-14T22:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。