論文の概要: Investigation of Independent Reinforcement Learning Algorithms in Multi-Agent Environments

• arxiv url: http://arxiv.org/abs/2111.01100v1
• Date: Mon, 1 Nov 2021 17:14:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 14:27:20.886560
• Title: Investigation of Independent Reinforcement Learning Algorithms in Multi-Agent Environments
• Title（参考訳）: マルチエージェント環境における独立強化学習アルゴリズムの検討
• Authors: Ken Ming Lee, Sriram Ganapathi Subramanian, Mark Crowley
• Abstract要約: 独立アルゴリズムは協調的・競合的な環境下で,マルチエージェントアルゴリズムと同等に動作可能であることを示す。 また, 協調的部分観測可能な環境下での独立アルゴリズムの学習において, 再帰が促進されることが示唆された。
• 参考スコア（独自算出の注目度）: 0.9281671380673306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Independent reinforcement learning algorithms have no theoretical guarantees for finding the best policy in multi-agent settings. However, in practice, prior works have reported good performance with independent algorithms in some domains and bad performance in others. Moreover, a comprehensive study of the strengths and weaknesses of independent algorithms is lacking in the literature. In this paper, we carry out an empirical comparison of the performance of independent algorithms on four PettingZoo environments that span the three main categories of multi-agent environments, i.e., cooperative, competitive, and mixed. We show that in fully-observable environments, independent algorithms can perform on par with multi-agent algorithms in cooperative and competitive settings. For the mixed environments, we show that agents trained via independent algorithms learn to perform well individually, but fail to learn to cooperate with allies and compete with enemies. We also show that adding recurrence improves the learning of independent algorithms in cooperative partially observable environments.
• Abstract（参考訳）: 独立強化学習アルゴリズムは、マルチエージェント環境で最良のポリシーを見つけるための理論的保証はない。 しかし、実際には、先行研究は、いくつかの領域における独立アルゴリズムによる良い性能と、他の領域での悪いパフォーマンスを報告している。 さらに、独立したアルゴリズムの強みと弱みに関する包括的な研究が文献に欠けている。 本稿では,マルチエージェント環境の3つの主要カテゴリ,すなわち協調的,競争的,混合的環境にまたがる4つのpettingzoo環境における独立アルゴリズムの性能を実証的に比較する。 完全観測可能な環境では、独立アルゴリズムが協調的かつ競争的な環境でマルチエージェントアルゴリズムと同等の性能を発揮することを示す。 混合環境において,独立したアルゴリズムで訓練されたエージェントは,個別によく行動することを学ぶが,同盟国との協力や敵との競争を学ばないことを示す。 また,協調的部分可観測環境において,再帰性を加えることで独立アルゴリズムの学習が向上することを示した。

関連論文リスト

• A Multiagent Path Search Algorithm for Large-Scale Coalition Structure Generation [61.08720171136229]
  結合構造生成はマルチエージェントシステムにおける基本的な計算問題である。 我々はCSGの多エージェントパス探索アルゴリズムであるSALDAEを開発し、連立構造グラフ上で運用する。
  論文  参考訳（メタデータ） (2025-02-14T15:21:27Z)
• Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
  利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。 我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
  論文  参考訳（メタデータ） (2024-10-24T10:48:42Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Learning from Multiple Independent Advisors in Multi-agent Reinforcement Learning [15.195932300563541]
  本稿では,マルチエージェント強化学習において,複数の独立アドバイザから同時に学習することの課題について考察する。 我々は、各州におけるアドバイザーを評価し、その後、アドバイザーを使用して行動選択をガイドすることで、アドバイザーの集合を組み込んだ原則付きアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-01-26T15:00:23Z)
• Learning Rationalizable Equilibria in Multiplayer Games [38.922957434291554]
  既存のアルゴリズムでは、帯域幅フィードバックの下で合理化可能な平衡を学習するために、プレイヤー数で指数関数的に多くのサンプルを必要とする。 本稿では、合理化可能な粗相関平衡(CCE)と相関平衡(CE)を学習するための効率的なアルゴリズムの第一線を開発する。 本アルゴリズムは,合理化可能性を保証するための新しい手法と,相関探索スキームと適応学習率を含む(スワップ-)レグレットを同時に備えている。
  論文  参考訳（メタデータ） (2022-10-20T16:49:00Z)
• Developing cooperative policies for multi-stage reinforcement learning tasks [0.0]
  多くの階層的強化学習アルゴリズムは、より高い推論レベルでタスクを解決するために、一連の独立したスキルを基礎として利用している。 本稿では,連続エージェントが長期水平多段階タスクを協調的に解決できる協調的協調政策(CCP)手法を提案する。
  論文  参考訳（メタデータ） (2022-05-11T01:31:04Z)
• Decentralized Cooperative Multi-Agent Reinforcement Learning with Exploration [35.75029940279768]
  マルコフチーム(Markov team)において、最も基本的な協調環境でマルチエージェント強化学習を研究する。 本稿では,各エージェントが独立してステージベースのVラーニングスタイルのアルゴリズムを実行するアルゴリズムを提案する。 エージェントは、少なくとも$proptowidetildeO (1/epsilon4)$ episodesにおいて、$epsilon$-approximate Nash平衡ポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2021-10-12T02:45:12Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? [100.48692829396778]
  独立PPO (Independent PPO) は独立学習の一種であり、各エージェントはその局所値関数を単純に推定する。 IPPOの強い性能は、ある種の非定常性に対する堅牢性に起因する可能性がある。
  論文  参考訳（メタデータ） (2020-11-18T20:29:59Z)
• Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks [11.480994804659908]
  マルチエージェント深部強化学習(MARL)は、一般的に使われている評価課題や基準の欠如に悩まされている。 我々は,MARLアルゴリズムの3つのクラスを体系的に評価し,比較する。 我々の実験は、異なる学習課題におけるアルゴリズムの期待性能の基準として機能する。
  論文  参考訳（メタデータ） (2020-06-14T11:22:53Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。