論文の概要: When Is a Game a Markov Decision Process? Correspondences Between Game Theory and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.41962v1
• Date: Fri, 30 Oct 2026 16:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.806262
• Title: When Is a Game a Markov Decision Process? Correspondences Between Game Theory and Reinforcement Learning
• Title（参考訳）: ゲームはいつマルコフ決定プロセスになるのか? ゲーム理論と強化学習の対応
• Abstract要約: 強化学習とゲーム理論は、2つの側面から同じ物体を記述する。 ゲーム理論では、戦略的相互作用の合理的な結果が何であるかが述べられている。 2つの文献は同一の構造に対して別々の語彙を保持しており、それらを橋渡しする処理は、定理よりも類似語として表される。
• 参考スコア（独自算出の注目度）: 1.5736899098702974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning and game theory describe the same object from two sides. Game theory says what a rational outcome of a strategic interaction is; reinforcement learning says how an agent could reach one through experience. The two literatures nevertheless keep separate vocabularies for identical structures, and the treatments that bridge them present the correspondence as analogy rather than theorem. This monograph supplies the theorems. A game is a Markov decision process in three distinct senses, and every table entry is labelled with the one that applies: a definitional identity, an exact reduction carried by a value- and solution-preserving map, or a structural analogy that fails under identifiable conditions. We take every standard class of game, from normal-form through repeated, stochastic, partially observable, extensive-form with imperfect information, Bayesian, graphical, Stackelberg, potential, coalitional, mean-field and evolutionary games, and identify for each the decision-theoretic model that reinforcement learning already studies under another name. The same treatment is applied to solution concepts: Nash equilibrium and the fixed point of the Bellman optimality operator, quantal response equilibrium and the soft Bellman operator, the Shapley value and credit assignment, Blackwell approachability and no-regret learning. We map each model class onto the training procedures sound for it and record the complexity of the associated solution problems. A final part collects the correspondences that do not hold: the non-stationarity that invalidates the independent-learner reduction, the impossibility results that forbid uncoupled convergence to Nash equilibrium, and the gap between the coarse correlated equilibria that no-regret self-play reaches and the correlated equilibria it is credited with.
• Abstract（参考訳）: 強化学習とゲーム理論は、2つの側面から同じ物体を記述する。 ゲーム理論では、戦略的相互作用の合理的な結果が何であるかが述べられている。 にもかかわらず、2つの文献は同一の構造に対して別々の語彙を保持しており、それらを橋渡しする処理は、定理よりも類似語として表される。 このモノグラフは定理を提供する。 ゲームは3つの異なる意味でマルコフ決定プロセスであり、全てのテーブルエントリは定義的アイデンティティ、値と解保存写像によって実行される正確な還元、あるいは識別可能な条件下で失敗する構造的アナロジーとラベル付けされる。 通常の形式から、繰り返し、確率的、部分的に観察可能、そして不完全な情報を持つ広範な形式、ベイジアン、グラフィカル、スタックルバーグ、ポテンシャル、連立性、平均場、進化的ゲームまで、あらゆる標準的なクラスのゲームを取り、学習を他の名前で研究する決定論的モデルごとに識別する。 ナッシュ平衡とベルマン最適作用素の定点、量子応答平衡とソフトベルマン作用素、シェープリー値とクレジット代入、ブラックウェルのアプローチ可能性、非回帰学習である。 各モデルクラスをトレーニング手順のサウンドにマッピングし、関連するソリューション問題の複雑さを記録する。 最終部は持たない対応を収集する: 独立リーナーの減少を無効にする非定常性、非結合的収束をナッシュ均衡に禁ずる不合理性、そして非回帰的な自己プレイが到達する粗い平衡と、それがクレジットされる平衡の間のギャップ。

関連論文リスト

• Parametric Open Source Games [78.29352305480285]
  プログラム平衡の連続的な類似であるパラメトリックオープンソースゲームを導入する。 対称な2時間2ドルゲームにおける利己的な勾配上昇が、欠陥から協調へと切り替わる正確な結合閾値を導出する。 我々は、クロスプレイヤーとセルフプレイヤーの感度の比で一階協調条件が支配されるニューラルネットワークのセマンティクスクラスにフレームワークを拡張した。
  論文  参考訳（メタデータ） (2026-06-25T14:14:24Z)
• Asymmetric Nash Seeking via Best Response Maps: Global Linear Convergence and Robustness to Inexact Reaction Models [0.0]
  ナッシュ均衡(Nash equilibria)は、マルチエージェントの意思決定と制御における相互作用をモデル化するための原則的なフレームワークを提供する。 この手紙は、非対称情報 2-プレーヤ制約付きゲームのクラスを分離可能な集合で研究する。
  論文  参考訳（メタデータ） (2026-03-17T18:45:56Z)
• Imperfect-Recall Games: Equilibrium Concepts and Their Complexity [74.01381499760288]
  エージェントが以前保持していた情報を忘れたとき、不完全なリコールの下で最適な意思決定を行う。 不完全なリコールを伴う広範囲形式のゲームフレームワークにおいて、マルチプレイヤー設定における平衡を求める際の計算複雑性を解析する。
  論文  参考訳（メタデータ） (2024-06-23T00:27:28Z)
• Finding mixed-strategy equilibria of continuous-action games without gradients using randomized policy networks [83.28949556413717]
  グラデーションへのアクセスを伴わない連続アクションゲームのナッシュ平衡を近似的に計算する問題について検討する。 ニューラルネットワークを用いてプレイヤーの戦略をモデル化する。 本論文は、制約のない混合戦略と勾配情報のない一般的な連続アクションゲームを解決する最初の方法である。
  論文  参考訳（メタデータ） (2022-11-29T05:16:41Z)
• No-Regret Learning in Games is Turing Complete [33.03065693224728]
  行列ゲーム上での複製子力学のチューリング完全性は、最も単純な設定の1つである。 この結果から,ゲームにおける学習アルゴリズムにおける到達可能性問題の非効率性が示唆され,特に平衡収束が決定される。
  論文  参考訳（メタデータ） (2022-02-24T02:37:50Z)
• Multiplayer Performative Prediction: Learning in Decision-Dependent Games [18.386569111954213]
  本稿では,マルチプレイヤー演奏予測のための新たなゲーム理論の枠組みを定式化する。 我々は、(i)パフォーマンス的に安定な平衡と(ii)ゲームのナッシュ平衡という、2つの異なる解の概念に焦点を当てる。 軽微な仮定の下では、様々なアルゴリズムにより、性能的に安定な平衡を効率的に見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-01-10T15:31:10Z)
• Learning Equilibria in Matching Markets from Bandit Feedback [139.29934476625488]
  不確実性の下で安定した市場成果を学習するためのフレームワークとアルゴリズムを開発する。 私たちの研究は、大規模なデータ駆動の市場において、いつ、どのように安定したマッチングが生じるかを明らかにするための第一歩を踏み出します。
  論文  参考訳（メタデータ） (2021-08-19T17:59:28Z)
• Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games [78.65798135008419]
  一般的なゲームでStackelberg平衡を効率的に学習する方法は、サンプルから非常にオープンなままです。 本稿では,2プレーヤターンベース汎用ゲームにおけるStackelberg平衡のサンプル効率学習に関する理論的研究を開始する。
  論文  参考訳（メタデータ） (2021-02-23T05:11:07Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Hindsight and Sequential Rationality of Correlated Play [18.176128899338433]
  私たちは、修正された振る舞いで達成できたことに対して、強いパフォーマンスを後見で保証するアルゴリズムを検討します。 我々は,学習の隠れた枠組みを,逐次的な意思決定の場で開発し,提唱する。 本稿では,それぞれの平衡の強さと弱さを文献に示す例を示す。
  論文  参考訳（メタデータ） (2020-12-10T18:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。