Fugu-MT 論文翻訳(概要): Fictitious play in zero-sum stochastic games

論文の概要: Fictitious play in zero-sum stochastic games

arxiv url: http://arxiv.org/abs/2010.04223v6
Date: Thu, 2 Jun 2022 09:03:25 GMT
ステータス: 処理完了
システム内更新日: 2022-10-09 13:16:28.500426
Title: Fictitious play in zero-sum stochastic games
Title（参考訳）: ゼロサム確率ゲームにおける架空の遊び
Authors: Muhammed O. Sayin, Francesca Parise and Asuman Ozdaglar
Abstract要約: ゲームにおける古典的な遊びとQ-ラーニングを組み合わせた架空の遊び力学の新たな変種を提案する。 2プレイヤーゼロサムゲームにおける収束特性を解析する。
参考スコア（独自算出の注目度）: 1.9143447222638694
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a novel variant of fictitious play dynamics combining classical fictitious play with Q-learning for stochastic games and analyze its convergence properties in two-player zero-sum stochastic games. Our dynamics involves players forming beliefs on the opponent strategy and their own continuation payoff (Q-function), and playing a greedy best response by using the estimated continuation payoffs. Players update their beliefs from observations of opponent actions. A key property of the learning dynamics is that update of the beliefs on Q-functions occurs at a slower timescale than update of the beliefs on strategies. We show both in the model-based and model-free cases (without knowledge of player payoff functions and state transition probabilities), the beliefs on strategies converge to a stationary mixed Nash equilibrium of the zero-sum stochastic game.
Abstract（参考訳）: 本稿では,古典的架空の遊びとQ-ラーニングを融合した新しい架空の遊び力学の変種を確率ゲームに適用し,その収束特性を2プレイヤーゼロサム確率ゲームで解析する。我々のダイナミクスは、プレイヤーが相手の戦略とそれ自身の継続報酬(q関数)に対する信念を形成し、推定された継続報酬を用いて欲深いベストレスポンスをプレイすることである。プレイヤーは相手の行動の観察から信念を更新する。学習力学の重要な特性は、Q関数に関する信念の更新が戦略に関する信念の更新よりも遅い時間スケールで起こることである。モデルベースとモデルフリーのケース(プレイヤーの支払い関数と状態遷移確率の知識がない)の両方において、戦略の信念はゼロサム確率ゲームの定常混合ナッシュ均衡に収束する。

関連論文リスト

Finite-Sample Guarantees for Best-Response Learning Dynamics in Zero-Sum Matrix Games [22.380293155135096]
2人のプレイヤーゼロサム行列ゲームに対する最適応答型学習ダイナミクスについて検討する。我々は,各プレイヤーがゲームと相手の戦略について持っている情報の種類によって区別される2つの設定について検討する。
論文参考訳（メタデータ） (2024-07-29T15:56:49Z)
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property [89.96815099996132]
単一コントローラを用いたマルチプレイヤーゲームにおいて,楽観的なポリシー勾配手法を特徴付ける新しいフレームワークを開発した。我々のアプローチは、我々が導入する古典的なミニティの自然一般化に依存しており、マルコフゲームを超えてさらなる応用が期待できる。
論文参考訳（メタデータ） (2023-12-19T11:34:10Z)
Logit-Q Dynamics for Efficient Learning in Stochastic Teams [1.3927943269211591]
ゲームにおける効率的な学習のための新しいロジット-Qダイナミクスのファミリーを提示する。未知のダイナミックスを持つチームでは,ロジット-Qのダイナミクスが(ほぼ)効率のよい平衡に到達できることが示される。
論文参考訳（メタデータ） (2023-02-20T07:07:25Z)
On the Convergence of No-Regret Learning Dynamics in Time-Varying Games [89.96815099996132]
時間変化ゲームにおける楽観的勾配降下(OGD)の収束を特徴付ける。我々のフレームワークは、ゼロサムゲームにおけるOGDの平衡ギャップに対して鋭い収束境界をもたらす。また,静的ゲームにおける動的後悔の保証に関する新たな洞察も提供する。
論文参考訳（メタデータ） (2023-01-26T17:25:45Z)
Finding mixed-strategy equilibria of continuous-action games without gradients using randomized policy networks [83.28949556413717]
グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
論文参考訳（メタデータ） (2022-11-29T05:16:41Z)
Nash Equilibria and Pitfalls of Adversarial Training in Adversarial Robustness Games [51.90475640044073]
本研究では,2プレイヤゼロサムゲームにおける最適応答戦略の交互化として,対戦訓練について検討する。一方、ゲームのユニークな純粋なナッシュ均衡が存在し、確実に堅牢である。
論文参考訳（メタデータ） (2022-10-23T03:21:01Z)
Independent and Decentralized Learning in Markov Potential Games [3.8779763612314633]
我々は、プレイヤーがゲームモデルに関する知識を持っておらず、コーディネートできない独立的で分散的な設定に焦点を当てる。各ステージにおいて、プレイヤーは、実現したワンステージ報酬に基づいて、各ステージの合計利得を評価するQ関数の推定値を更新する。学習力学によって引き起こされるポリシーは、確率 1 のマルコフポテンシャルゲームにおける定常ナッシュ平衡の集合に収束することを示す。
論文参考訳（メタデータ） (2022-05-29T07:39:09Z)
Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games [0.0]
2人のプレイヤーのゼロサム同時アクションゲームは、ビデオゲーム、金融市場、戦争、ビジネスコンペティション、その他多くの設定で一般的である。本稿では,2人のプレイヤーのゼロサム同時アクションゲームにおける強化学習の基本概念を紹介し,このタイプのゲームがもたらすユニークな課題について論じる。本稿では,これらの課題に対処する新たなエージェントを2つ紹介する。
論文参考訳（メタデータ） (2021-10-10T16:03:44Z)
Computing Nash Equilibria in Multiplayer DAG-Structured Stochastic Games with Persistent Imperfect Information [1.7132914341329848]
永続的不完全情報を持つマルチプレイヤー汎用ゲームにおいて,ナッシュ均衡を近似するアルゴリズムを提案する。新たな手法を用いることで,本ゲームにおけるナッシュ均衡を近似した戦略をアルゴリズムで計算できることが証明できる。
論文参考訳（メタデータ） (2020-10-26T19:27:26Z)
Learning to Play Sequential Games versus Unknown Opponents [93.8672371143881]
学習者が最初にプレーするゲームと、選択した行動に反応する相手との連続的なゲームについて考察する。対戦相手の対戦相手列と対戦する際,学習者に対して新しいアルゴリズムを提案する。我々の結果には、相手の反応の正則性に依存するアルゴリズムの後悔の保証が含まれている。
論文参考訳（メタデータ） (2020-07-10T09:33:05Z)
Chaos, Extremism and Optimism: Volume Analysis of Learning in Games [55.24050445142637]
本稿では,ゼロサムにおける乗算重み更新 (MWU) と最適乗算重み更新 (OMWU) のボリューム解析と協調ゲームについて述べる。我々は、OMWUが、その既知の収束挙動の代替的な理解を提供するために、ボリュームを契約していることを示します。我々はまた、コーディネートゲームを調べる際に役割が逆になるという意味で、自由ランチ型の定理も証明する: OMWU は指数関数的に高速に体積を拡大するが、MWU は契約する。
論文参考訳（メタデータ） (2020-05-28T13:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。