論文の概要: Independent and Decentralized Learning in Markov Potential Games

• arxiv url: http://arxiv.org/abs/2205.14590v7
• Date: Wed, 25 Dec 2024 04:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:22:42.661842
• Title: Independent and Decentralized Learning in Markov Potential Games
• Title（参考訳）: マルコフポテンシャルゲームにおける独立学習と分散学習
• Authors: Chinmay Maheshwari, Manxi Wu, Druv Pai, Shankar Sastry,
• Abstract要約: マルチエージェント強化学習ダイナミクスについて検討し,無限水平割引マルコフポテンシャルゲームにおける収束度を解析した。 我々は、プレイヤーがゲームパラメータを知らない、コミュニケーションやコーディネートができない、独立的で分散的な設定に焦点を当てる。
• 参考スコア（独自算出の注目度）: 3.549868541921029
• License:
• Abstract: We study a multi-agent reinforcement learning dynamics, and analyze its convergence in infinite-horizon discounted Markov potential games. We focus on the independent and decentralized setting, where players do not know the game parameters, and cannot communicate or coordinate. In each stage, players update their estimate of Q-function that evaluates their total contingent payoff based on the realized one-stage reward in an asynchronous manner. Then, players independently update their policies by incorporating an optimal one-stage deviation strategy based on the estimated Q-function. Inspired by the actor-critic algorithm in single-agent reinforcement learning, a key feature of our learning dynamics is that agents update their Q-function estimates at a faster timescale than the policies. Leveraging tools from two-timescale asynchronous stochastic approximation theory, we characterize the convergent set of learning dynamics.
• Abstract（参考訳）: マルチエージェント強化学習ダイナミクスについて検討し,無限水平割引マルコフポテンシャルゲームにおける収束度を解析した。 我々は、プレイヤーがゲームパラメータを知らない、コミュニケーションやコーディネートができない、独立的で分散的な設定に焦点を当てる。 各ステージにおいて、プレイヤーは、実現したワンステージ報酬に基づいて、各ステージの総入金額を評価するQ関数の推定値を非同期に更新する。 そして、プレイヤーは、推定Q-関数に基づいて最適な1段階偏差戦略を組み込むことで、それぞれのポリシーを独立に更新する。 シングルエージェント強化学習においてアクター批判アルゴリズムにインスパイアされた私たちの学習力学の重要な特徴は、エージェントがQ関数の推定値をポリシーよりも高速な時間スケールで更新することである。 二段階の非同期確率近似理論からツールを活用することで、学習力学の収束集合を特徴づける。

関連論文リスト

• LOQA: Learning with Opponent Q-Learning Awareness [1.1666234644810896]
  本稿では,エージェントの個々のユーティリティを最適化する分散型強化学習アルゴリズムであるLearning with Opponent Q-Learning Awareness (LOQA)を紹介する。 LOQAは、Iterated Prisoner's DilemmaやCoin Gameのようなベンチマークシナリオで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-02T06:33:01Z)
• Asynchronous Decentralized Q-Learning: Two Timescale Analysis By Persistence [0.0]
  非定常性はマルチエージェント強化学習(MARL)における基本的な課題である。 MARLの多くの理論的進歩は、エージェントのポリシー更新を様々な方法で調整することで、非定常性の課題を避ける。 同期化により、マルチタイムスケールの手法で多くのMARLアルゴリズムを解析できるが、多くの分散アプリケーションではそのような同期は不可能である。
  論文  参考訳（メタデータ） (2023-08-07T01:32:09Z)
• Logit-Q Dynamics for Efficient Learning in Stochastic Teams [1.3927943269211591]
  ゲームにおける効率的な学習のための新しいロジット-Qダイナミクスのファミリーを提示する。 未知のダイナミックスを持つチームでは,ロジット-Qのダイナミクスが(ほぼ)効率のよい平衡に到達できることが示される。
  論文  参考訳（メタデータ） (2023-02-20T07:07:25Z)
• Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation [56.715186432566576]
  そこで本稿では,大規模状態空間と多数のエージェントを用いた強化学習のための新しいモデルである独立線形マルコフゲームを提案する。 我々は,各エージェントの関数クラスの複雑性にのみ対応して,サンプル境界複雑性を持つ相関平衡 (CCE) とマルコフ相関平衡 (CE) を学習するための新しいアルゴリズムを設計する。 提案アルゴリズムは,1)複数のエージェントによる非定常性に対処するためのポリシーリプレイと,機能近似の利用,2)マルコフ均衡の学習とマルコフゲームにおける探索の分離という,2つの重要な技術革新に依存している。
  論文  参考訳（メタデータ） (2023-02-07T18:47:48Z)
• Asymptotic Convergence and Performance of Multi-Agent Q-Learning Dynamics [38.5932141555258]
  一般的な強化学習アルゴリズムであるスムーズなQ-Learningのダイナミクスについて検討する。 我々は、Qラーニング力学が任意のゲームにおいて一意の平衡に収束することが保証されるような探索速度の十分条件を示す。
  論文  参考訳（メタデータ） (2023-01-23T18:39:11Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Decentralized Q-Learning in Zero-sum Markov Games [33.81574774144886]
  ゼロサムマルコフゲームにおけるマルチエージェント強化学習(MARL)について検討した。 我々は、合理的かつ収束的な、根本的に非結合なQ-ラーニングダイナミクスを初めて開発する。 この分散環境における鍵となる課題は、エージェントの観点から学習環境の非定常性である。
  論文  参考訳（メタデータ） (2021-06-04T22:42:56Z)
• Independent Policy Gradient Methods for Competitive Reinforcement Learning [62.91197073795261]
  2つのエージェントによる競争強化学習環境における独立学習アルゴリズムに対するグローバル・非漸近収束保証を得る。 本研究は,両選手がタンデムで政策勾配法を実行すると,学習率を2回ルールに従えば,その政策はゲームの最小均衡に収束することを示す。
  論文  参考訳（メタデータ） (2021-01-11T23:20:42Z)
• Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? [100.48692829396778]
  独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。 IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
  論文  参考訳（メタデータ） (2020-11-18T20:29:59Z)
• On Information Asymmetry in Competitive Multi-Agent Reinforcement Learning: Convergence and Optimality [78.76529463321374]
  協調的でない2つのQ-ラーニングエージェントの相互作用システムについて検討する。 この情報非対称性は、集団学習の安定した結果をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-21T11:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。