論文の概要: Can We Break the Curse of Multiagency in Robust Multi-Agent Reinforcement Learning?

• arxiv url: http://arxiv.org/abs/2409.20067v1
• Date: Mon, 30 Sep 2024 08:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 18:56:57.560898
• Title: Can We Break the Curse of Multiagency in Robust Multi-Agent Reinforcement Learning?
• Title（参考訳）: 頑強なマルチエージェント強化学習におけるマルチエージェントのカースを破ることができるか?
• Authors: Laixi Shi, Jingchu Gai, Eric Mazumdar, Yuejie Chi, Adam Wierman,
• Abstract要約: 分布的にロバストなマルコフゲーム (RMG) は、MARLのロバスト性を高めるために提案されている。 RMGがマルチ緊急の呪いから逃れられるかどうか。 これは、RMGに対するマルチ緊急の呪いを破る最初のアルゴリズムである。
• 参考スコア（独自算出の注目度）: 37.80275600302316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard multi-agent reinforcement learning (MARL) algorithms are vulnerable to sim-to-real gaps. To address this, distributionally robust Markov games (RMGs) have been proposed to enhance robustness in MARL by optimizing the worst-case performance when game dynamics shift within a prescribed uncertainty set. Solving RMGs remains under-explored, from problem formulation to the development of sample-efficient algorithms. A notorious yet open challenge is if RMGs can escape the curse of multiagency, where the sample complexity scales exponentially with the number of agents. In this work, we propose a natural class of RMGs where the uncertainty set of each agent is shaped by both the environment and other agents' strategies in a best-response manner. We first establish the well-posedness of these RMGs by proving the existence of game-theoretic solutions such as robust Nash equilibria and coarse correlated equilibria (CCE). Assuming access to a generative model, we then introduce a sample-efficient algorithm for learning the CCE whose sample complexity scales polynomially with all relevant parameters. To the best of our knowledge, this is the first algorithm to break the curse of multiagency for RMGs.
• Abstract（参考訳）: 標準マルチエージェント強化学習(MARL)アルゴリズムは、sim-to-realギャップに対して脆弱である。 これを解決するために,所定の不確実性セット内でゲームダイナミクスがシフトした場合の最悪の性能を最適化することにより,MARLのロバスト性を高めるために,分散ロバストなマルコフゲーム (RMG) が提案されている。 RMGの解法は、問題の定式化からサンプル効率のアルゴリズムの開発まで、未探索のままである。 RMGが多能性の呪いから逃れられるかどうか、その場合、サンプルの複雑さはエージェントの数とともに指数関数的に拡大する。 本研究では,各エージェントの不確実性集合が環境と他のエージェントの戦略の両方によって最も応答性の高い方法で形成される自然なRMGのクラスを提案する。 まず、ロバストなナッシュ平衡や粗い平衡 (CCE) のようなゲーム理論解の存在を証明し、これらのRMGの正当性を確立する。 生成モデルにアクセスできると仮定すると、サンプルの複雑さがすべての関連するパラメータと多項式的にスケールするCCEを学習するためのサンプル効率のよいアルゴリズムを導入する。 我々の知る限りでは、このアルゴリズムはRMGにとってのマルチ緊急の呪いを破る最初のものである。

関連論文リスト

• Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
  本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。 エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。 我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
  論文  参考訳（メタデータ） (2024-04-30T06:48:56Z)
• Sample-Efficient Robust Multi-Agent Reinforcement Learning in the Face of Environmental Uncertainty [40.55653383218379]
  本研究は,ロバストなマルコフゲーム(RMG)の学習に焦点を当てる。 ゲーム理論平衡の様々な概念の頑健な変種を学習するために,有限サンプルの複雑性を保証するサンプル効率モデルベースアルゴリズム(DRNVI)を提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:51:47Z)
• Risk-Sensitive Multi-Agent Reinforcement Learning in Network Aggregative Markov Games [2.85386288555414]
  ネットワーク集約ゲーム(NAMG)のCPTリスクを考慮した分散サンプリングベースアクタクリティカル(AC)アルゴリズムを提案する。 一組の仮定の下で、NAMGにおける完全ナッシュ均衡の主観的な概念を証明する。 実験により、主観的な政策はリスク中立的な政策とは異なる可能性があることが示された。
  論文  参考訳（メタデータ） (2024-02-08T18:43:27Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Robust Multi-Agent Reinforcement Learning with State Uncertainty [17.916400875478377]
  本研究における状態不確実性を考慮したMARLの問題点について検討する。 このような平衡を求めるために,頑健なマルチエージェントQ-ラーニングアルゴリズムを提案する。 実験の結果,提案したRMAQアルゴリズムは最適値関数に収束することがわかった。
  論文  参考訳（メタデータ） (2023-07-30T12:31:42Z)
• Distributed Consensus Algorithm for Decision-Making in Multi-agent Multi-armed Bandit [7.708904950194129]
  動的環境におけるマルチエージェント・マルチアーム・バンディット(MAMAB)問題について検討する。 グラフはエージェント間の情報共有構造を反映し、腕の報酬分布はいくつかの未知の変化点を持つ断片的に定常である。 目的は、後悔を最小限に抑えるエージェントのための意思決定ポリシーを開発することである。
  論文  参考訳（メタデータ） (2023-06-09T16:10:26Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Factorization of Multi-Agent Sampling-Based Motion Planning [72.42734061131569]
  現代のロボティクスは、共有環境内で複数のエンボディエージェントを動作させることが多い。 標準的なサンプリングベースのアルゴリズムは、ロボットの関節空間における解の探索に使用できる。 我々は、因子化の概念をサンプリングベースアルゴリズムに統合し、既存の手法への最小限の変更しか必要としない。 本稿では, PRM* のサンプル複雑性の観点から解析的ゲインを導出し, RRG の実証結果を示す。
  論文  参考訳（メタデータ） (2023-04-01T15:50:18Z)
• Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL [154.13105285663656]
  置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。 残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。 モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
  論文  参考訳（メタデータ） (2022-09-20T16:42:59Z)
• Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal Difference and Successor Representation [32.80370188601152]
  本稿では,マルチエージェント適応カルマン時間差分(MAK-TD)フレームワークとその継承表現に基づく変種(MAK-SR)を提案する。 提案するMAK-TD/SRフレームワークは,高次元マルチエージェント環境に関連付けられたアクション空間の連続的な性質を考察する。
  論文  参考訳（メタデータ） (2021-12-30T18:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。