論文の概要: A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2306.07465v2
• Date: Fri, 3 May 2024 07:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 18:26:14.406445
• Title: A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning
• Title（参考訳）: 非定常マルチエージェント強化学習のためのブラックボックスアプローチ
• Authors: Haozhe Jiang, Qiwen Cui, Zhihan Xiong, Maryam Fazel, Simon S. Du,
• Abstract要約: 非定常マルチエージェントシステムにおける平衡の学習について検討する。 単エージェント学習へのブラックボックス還元による様々な平衡の検証方法を示す。
• 参考スコア（独自算出の注目度）: 53.83345471268163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate learning the equilibria in non-stationary multi-agent systems and address the challenges that differentiate multi-agent learning from single-agent learning. Specifically, we focus on games with bandit feedback, where testing an equilibrium can result in substantial regret even when the gap to be tested is small, and the existence of multiple optimal solutions (equilibria) in stationary games poses extra challenges. To overcome these obstacles, we propose a versatile black-box approach applicable to a broad spectrum of problems, such as general-sum games, potential games, and Markov games, when equipped with appropriate learning and testing oracles for stationary environments. Our algorithms can achieve $\widetilde{O}\left(\Delta^{1/4}T^{3/4}\right)$ regret when the degree of nonstationarity, as measured by total variation $\Delta$, is known, and $\widetilde{O}\left(\Delta^{1/5}T^{4/5}\right)$ regret when $\Delta$ is unknown, where $T$ is the number of rounds. Meanwhile, our algorithm inherits the favorable dependence on number of agents from the oracles. As a side contribution that may be independent of interest, we show how to test for various types of equilibria by a black-box reduction to single-agent learning, which includes Nash equilibria, correlated equilibria, and coarse correlated equilibria.
• Abstract（参考訳）: 本研究では,非定常マルチエージェントシステムにおける平衡学習について検討し,マルチエージェント学習と単一エージェント学習を区別する課題に対処する。 具体的には,テスト対象のギャップが小さい場合でも平衡テストがかなりの後悔を招きかねない,定常ゲームにおける複数最適解(平衡)の存在がさらなる課題となる,帯域幅フィードバックを持つゲームに焦点をあてる。 これらの障害を克服するために,定常環境に適切な学習とテストのオーラクルを備えた場合,汎用ゲームや潜在的ゲーム,マルコフゲームなど,幅広い問題に適用可能な汎用ブラックボックスアプローチを提案する。 我々のアルゴリズムは$\widetilde{O}\left(\Delta^{1/4}T^{3/4}\right)$ regret if the degree of nonstationarity are known, $\Delta$ is known, $\widetilde{O}\left(\Delta^{1/5}T^{4/5}\right)$ regret if $\Delta$ is unknown, where $T$ is the number of rounds。 一方,本アルゴリズムはオークルからのエージェント数に対する好意的な依存を継承する。 利害関係に依存しないサイドコントリビューションとして、ナッシュ均衡、相関平衡、粗相関平衡を含む単エージェント学習へのブラックボックス還元による様々な均衡の試行方法を示す。

関連論文リスト

• Tractable Equilibrium Computation in Markov Games through Risk Aversion [12.980882140751895]
  リスク-逆量子応答平衡(RQE)は,すべての$n$プレーヤ行列と有限ホリゾンマルコフゲームで計算可能であることを示す。 RQEは下層のゲーム構造とは独立であり、エージェントのリスク回避度と有界有理性にのみ依存する。
  論文  参考訳（メタデータ） (2024-06-20T09:53:56Z)
• On Tractable $Φ$-Equilibria in Non-Concave Games [53.212133025684224]
  非凹面ゲームはゲーム理論と最適化に重大な課題をもたらす。 Phi$が有限であるとき、対応する$Phi$-equilibriaに収束する効率的な非結合学習アルゴリズムが存在することを示す。 また,オンライングラディエントDescentは,非自明な状況下で効率よく$Phi$-equilibriaを近似できることを示した。
  論文  参考訳（メタデータ） (2024-03-13T01:51:30Z)
• Impact of Decentralized Learning on Player Utilities in Stackelberg Games [57.08270857260131]
  多くの2エージェントシステムでは、各エージェントは別々に学習し、2つのエージェントの報酬は完全に一致しない。 分散学習を用いたStackelbergゲームとしてこれらのシステムをモデル化し、標準後悔ベンチマークが少なくとも1人のプレイヤーにとって最悪の線形後悔をもたらすことを示す。 我々は,これらのベンチマークに関して,両プレイヤーにとってほぼ最適な$O(T2/3)を後悔するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-29T23:38:28Z)
• Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property [89.96815099996132]
  単一コントローラを用いたマルチプレイヤーゲームにおいて,楽観的なポリシー勾配手法を特徴付ける新しいフレームワークを開発した。 我々のアプローチは、我々が導入する古典的なミニティの自然一般化に依存しており、マルコフゲームを超えてさらなる応用が期待できる。
  論文  参考訳（メタデータ） (2023-12-19T11:34:10Z)
• Differentiable Arbitrating in Zero-sum Markov Games [59.62061049680365]
  ゼロサムマルコフゲームにおいて、2人のプレイヤーが望ましいナッシュ均衡、すなわち仲裁を誘導する報酬を摂動する方法を研究する。 低いレベルでは、与えられた報酬関数の下でのナッシュ均衡の解決が必要であり、それによって全体的な問題をエンドツーエンドで最適化することが難しくなる。 上層階の勾配フィードバックを提供するナッシュ平衡を微分するバックプロパゲーション方式を提案する。
  論文  参考訳（メタデータ） (2023-02-20T16:05:04Z)
• Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning [18.20664209675016]
  この研究は、競合しないマルチエージェントゲームにおける平衡選択に焦点を当てている。 Pareto Actor-Critic (Pareto-AC)は、すべてのエージェントのリターンを最大化するアクター批判アルゴリズムである。
  論文  参考訳（メタデータ） (2022-09-28T18:14:34Z)
• Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a Generative Model [50.38446482252857]
  2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。 我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。 我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T17:24:55Z)
• Provably Efficient Reinforcement Learning in Decentralized General-Sum Markov Games [5.205867750232226]
  本稿では,一般のマルコフゲームにおいて平衡を効率的に学習する問題に対処する。 本稿では,各エージェントが独立して楽観的なV-ラーニングを実行し,未知の環境を効率的に探索するアルゴリズムを提案する。 エージェントは少なくとも$widetildeO(H6S A /epsilon2)$ episodesで$epsilon$-approximate CCEを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-12T02:01:22Z)
• Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality [21.94743452608215]
  本研究では,ゲーム報酬と探索費用のバランスを捉えたプロトタイプ学習モデルであるスムーズQ-ラーニングについて検討する。 Q-ラーニングは常に、有界な有理性の下でのゲームに対する標準的な解概念である一意の量子-応答平衡(QRE)に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-24T11:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。