論文の概要: Game-Theoretical Perspectives on Active Equilibria: A Preferred Solution Concept over Nash Equilibria

• arxiv url: http://arxiv.org/abs/2210.16175v1
• Date: Fri, 28 Oct 2022 14:45:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:50:35.430443
• Title: Game-Theoretical Perspectives on Active Equilibria: A Preferred Solution Concept over Nash Equilibria
• Title（参考訳）: アクティブ平衡のゲーム理論的視点:ナッシュ平衡よりも優先された解概念
• Authors: Dong-Ki Kim, Matthew Riemer, Miao Liu, Jakob N. Foerster, Gerald Tesauro, Jonathan P. How
• Abstract要約: マルチエージェント強化学習における効果的なアプローチは,エージェントの学習プロセスを検討し,今後の政策に影響を与えることである。 この新たな解の概念は、ナッシュ均衡のような標準解の概念が活性平衡の特別な場合である、という一般的なものである。 我々は,ゲーム理論の観点から,ナッシュ平衡が知られている実例を綿密に研究することにより,アクティブ平衡を解析する。
• 参考スコア（独自算出の注目度）: 61.093297204685264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiagent learning settings are inherently more difficult than single-agent learning because each agent interacts with other simultaneously learning agents in a shared environment. An effective approach in multiagent reinforcement learning is to consider the learning process of agents and influence their future policies toward desirable behaviors from each agent's perspective. Importantly, if each agent maximizes its long-term rewards by accounting for the impact of its behavior on the set of convergence policies, the resulting multiagent system reaches an active equilibrium. While this new solution concept is general such that standard solution concepts, such as a Nash equilibrium, are special cases of active equilibria, it is unclear when an active equilibrium is a preferred equilibrium over other solution concepts. In this paper, we analyze active equilibria from a game-theoretic perspective by closely studying examples where Nash equilibria are known. By directly comparing active equilibria to Nash equilibria in these examples, we find that active equilibria find more effective solutions than Nash equilibria, concluding that an active equilibrium is the desired solution for multiagent learning settings.
• Abstract（参考訳）: マルチエージェント学習の設定は、各エージェントが共有環境で他の同時学習エージェントと相互作用するため、シングルエージェント学習よりも本質的に難しい。 多エージェント強化学習における効果的なアプローチは、エージェントの学習過程を考察し、各エージェントの観点から望ましい行動に将来の方針に影響を与えることである。 重要なことに、各エージェントがその行動が収束ポリシーの集合に与える影響を考慮し、長期的な報酬を最大化すれば、結果として生じるマルチエージェントシステムは活発な平衡に達する。 この新しい解の概念は、ナッシュ平衡のような標準解の概念が活性平衡の特別な場合であるような一般的なものであるが、活性平衡が他の解の概念よりも好ましい平衡であるかどうかは不明である。 本稿では,nash平衡が知られている例を詳細に研究し,ゲーム理論的な視点からアクティブ平衡を分析する。 これらの例において、アクティブ平衡とナッシュ平衡を直接比較することにより、アクティブ平衡がナッシュ平衡よりも効果的な解を見出すことが判明し、アクティブ平衡がマルチエージェント学習設定の望ましい解であると結論付けた。

関連論文リスト

• A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning [53.83345471268163]
  非定常マルチエージェントシステムにおける平衡の学習について検討する。 単エージェント学習へのブラックボックス還元による様々な平衡の検証方法を示す。
  論文  参考訳（メタデータ） (2023-06-12T23:48:24Z)
• Inducing Stackelberg Equilibrium through Spatio-Temporal Sequential Decision-Making in Multi-Agent Reinforcement Learning [17.101534531286298]
  我々は、すべてのエージェントが共有する条件付きハイパーネットワークに基づいて、ナッシュレベルのポリシーモデルを構築する。 このアプローチは対称的実行を伴う非対称なトレーニングを可能にし、各エージェントは、上位エージェントによる決定に最適な条件で応答する。 実験により,本手法は繰り返し行列ゲームシナリオにおいて,SEポリシーに効果的に収束することを示した。
  論文  参考訳（メタデータ） (2023-04-20T14:47:54Z)
• Uncoupled Learning of Differential Stackelberg Equilibria with Commitments [43.098826226730246]
  ゼロ階勾配推定器に基づく非結合型学習ダイナミクスを提案する。 従来の結合手法と同じ条件で、微分スタックルバーグ平衡に収束することが証明される。 また、対称学習者がリーダー・フォロワーの役割を交渉できるオンラインメカニズムを提案する。
  論文  参考訳（メタデータ） (2023-02-07T12:46:54Z)
• Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning [18.20664209675016]
  この研究は、競合しないマルチエージェントゲームにおける平衡選択に焦点を当てている。 Pareto Actor-Critic (Pareto-AC)は、すべてのエージェントのリターンを最大化するアクター批判アルゴリズムである。
  論文  参考訳（メタデータ） (2022-09-28T18:14:34Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games [78.65798135008419]
  一般的なゲームでStackelberg平衡を効率的に学習する方法は、サンプルから非常にオープンなままです。 本稿では,2プレーヤターンベース汎用ゲームにおけるStackelberg平衡のサンプル効率学習に関する理論的研究を開始する。
  論文  参考訳（メタデータ） (2021-02-23T05:11:07Z)
• On Information Asymmetry in Competitive Multi-Agent Reinforcement Learning: Convergence and Optimality [78.76529463321374]
  協調的でない2つのQ-ラーニングエージェントの相互作用システムについて検討する。 この情報非対称性は、集団学習の安定した結果をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-21T11:19:53Z)
• Calibration of Shared Equilibria in General Sum Partially Observable Markov Games [15.572157454411533]
  我々は、異なるタイプのエージェントが単一のポリシーネットワークを共有する、一般的な可観測マルコフゲームを考える。 本稿は,そのようなエージェントが到達した平衡を形式的に理解すること,および,そのような平衡の創発的な現象を現実のターゲットに合わせることを目的としている。
  論文  参考訳（メタデータ） (2020-06-23T15:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。