論文の概要: Convergence of Decentralized Actor-Critic Algorithm in General-sum Markov Games

• arxiv url: http://arxiv.org/abs/2409.04613v3
• Date: Tue, 5 Nov 2024 06:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 22:49:49.474488
• Title: Convergence of Decentralized Actor-Critic Algorithm in General-sum Markov Games
• Title（参考訳）: 汎用マルコフゲームにおける離散化アクター臨界アルゴリズムの収束性
• Authors: Chinmay Maheshwari, Manxi Wu, Shankar Sastry,
• Abstract要約: 一般的なマルコフゲームにおける学習アルゴリズムの特性について検討する。 特に,各エージェントがアクター批判学習を動的に採用する分散アルゴリズムに着目した。
• 参考スコア（独自算出の注目度）: 3.8779763612314633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Markov games provide a powerful framework for modeling strategic multi-agent interactions in dynamic environments. Traditionally, convergence properties of decentralized learning algorithms in these settings have been established only for special cases, such as Markov zero-sum and potential games, which do not fully capture real-world interactions. In this paper, we address this gap by studying the asymptotic properties of learning algorithms in general-sum Markov games. In particular, we focus on a decentralized algorithm where each agent adopts an actor-critic learning dynamic with asynchronous step sizes. This decentralized approach enables agents to operate independently, without requiring knowledge of others' strategies or payoffs. We introduce the concept of a Markov Near-Potential Function (MNPF) and demonstrate that it serves as an approximate Lyapunov function for the policy updates in the decentralized learning dynamics, which allows us to characterize the convergent set of strategies. We further strengthen our result under specific regularity conditions and with finite Nash equilibria.
• Abstract（参考訳）: マルコフゲームは動的環境における戦略的マルチエージェント相互作用をモデル化するための強力なフレームワークを提供する。 伝統的に、これらのセッティングにおける分散学習アルゴリズムの収束特性は、マルコフゼロサムやポテンシャルゲームのような、現実世界の相互作用を完全に捉えない特別なケースにのみ確立されている。 本稿では,一般的なマルコフゲームにおける学習アルゴリズムの漸近特性を研究することにより,このギャップに対処する。 特に、各エージェントが非同期ステップサイズでアクター批判学習を動的に採用する分散アルゴリズムに焦点を当てる。 この分散されたアプローチは、エージェントが他人の戦略や支払いの知識を必要とせず、独立して運営することを可能にする。 我々は,マルコフ近傍ポテンシャル関数(MNPF)の概念を導入し,分散学習力学におけるポリシー更新のための近似的なリアプノフ関数として機能し,収束した戦略の集合を特徴づけることができることを示した。 さらに、特定の正則性条件と有限ナッシュ平衡の下で、結果をさらに強化する。

関連論文リスト

• Independent Learning in Constrained Markov Potential Games [19.083595175045073]
  制約付きマルコフゲームは、マルチエージェント強化学習問題をモデル化するための正式なフレームワークを提供する。 近似的制約付きナッシュ平衡を学習するための独立ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-27T20:57:35Z)
• Decentralized Multi-Agent Reinforcement Learning for Continuous-Space Stochastic Games [0.0]
  汎用状態空間を分散化したゲームにおけるマルチエージェント学習と,エージェントが互いの行動を観察しない情報構造について検討する。 我々は,MARLアルゴリズムを提案し,そのポリシー更新のほぼ最適性を証明した。
  論文  参考訳（メタデータ） (2023-03-16T14:25:16Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation [56.715186432566576]
  そこで本稿では,大規模状態空間と多数のエージェントを用いた強化学習のための新しいモデルである独立線形マルコフゲームを提案する。 我々は,各エージェントの関数クラスの複雑性にのみ対応して,サンプル境界複雑性を持つ相関平衡 (CCE) とマルコフ相関平衡 (CE) を学習するための新しいアルゴリズムを設計する。 提案アルゴリズムは,1)複数のエージェントによる非定常性に対処するためのポリシーリプレイと,機能近似の利用,2)マルコフ均衡の学習とマルコフゲームにおける探索の分離という,2つの重要な技術革新に依存している。
  論文  参考訳（メタデータ） (2023-02-07T18:47:48Z)
• The Complexity of Markov Equilibrium in Stochastic Games [44.77547027158141]
  一般ゲームにおける確率的定常なマルコフ粗相関平衡(CCE)の計算は、計算的に難解であることを示す。 この結果は、正確なCCEを効率的に計算可能な正規形式ゲームとは対照的である。
  論文  参考訳（メタデータ） (2022-04-08T10:51:01Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets [151.03738099494765]
  我々は、市場の両側でプランナーと戦略エージェントのセットを含むマルコフマッチング市場について検討する。 本稿では,楽観的な値反復と最大重みマッチングを組み合わせた強化学習フレームワークを提案する。 我々は,アルゴリズムがサブ線形後悔を実現することを証明した。
  論文  参考訳（メタデータ） (2022-03-07T19:51:25Z)
• Finite-Sample Analysis of Decentralized Q-Learning for Stochastic Games [3.441021278275805]
  ゲームにおける学習は、多エージェント強化学習(MARL)における最も標準的で基本的な設定であることは間違いない。 汎用近似ゲーム(SG)の重要なクラスにおいて、完全分散Q-ラーニングアルゴリズムの有限サンプル複雑性を確立する。 我々は,各エージェントが報酬や他のエージェントの行動を観察できないような,完全に分散化されたMARLの実践的かつ挑戦的な設定に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-15T03:33:39Z)
• Decentralized Q-Learning in Zero-sum Markov Games [33.81574774144886]
  ゼロサムマルコフゲームにおけるマルチエージェント強化学習(MARL)について検討した。 我々は、合理的かつ収束的な、根本的に非結合なQ-ラーニングダイナミクスを初めて開発する。 この分散環境における鍵となる課題は、エージェントの観点から学習環境の非定常性である。
  論文  参考訳（メタデータ） (2021-06-04T22:42:56Z)
• Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions [80.49176924360499]
  我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。 我々は分散強化学習アルゴリズムのクラスを導出する。 我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2020-07-05T16:41:09Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。