論文の概要: Credit Assignment and Efficient Exploration based on Influence Scope in Multi-agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.08630v1
• Date: Tue, 13 May 2025 14:49:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.623523
• Title: Credit Assignment and Efficient Exploration based on Influence Scope in Multi-agent Reinforcement Learning
• Title（参考訳）: マルチエージェント強化学習における影響スコープに基づくクレジットアサインメントと効率的な探索
• Authors: Shuai Han, Mehdi Dastani, Shihan Wang,
• Abstract要約: スパース・リワードシナリオにおける協調エージェントの訓練は、マルチエージェント強化学習(MARL)に重大な課題をもたらす 本研究では,個々のエージェントの影響を受けうる状態の次元/属性の特定の値を取ることで,エージェントのスコープ(ISA)が状態に与える影響を計算するアルゴリズムを提案する。 エージェントの行動と状態属性の相互依存は、各エージェントの信用割り当てを計算し、各エージェントの探索空間を除くために使用される。
• 参考スコア（独自算出の注目度）: 2.8111817372725785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training cooperative agents in sparse-reward scenarios poses significant challenges for multi-agent reinforcement learning (MARL). Without clear feedback on actions at each step in sparse-reward setting, previous methods struggle with precise credit assignment among agents and effective exploration. In this paper, we introduce a novel method to deal with both credit assignment and exploration problems in reward-sparse domains. Accordingly, we propose an algorithm that calculates the Influence Scope of Agents (ISA) on states by taking specific value of the dimensions/attributes of states that can be influenced by individual agents. The mutual dependence between agents' actions and state attributes are then used to calculate the credit assignment and to delimit the exploration space for each individual agent. We then evaluate ISA in a variety of sparse-reward multi-agent scenarios. The results show that our method significantly outperforms the state-of-art baselines.
• Abstract（参考訳）: スパース・リワードシナリオにおける協調エージェントの訓練は、マルチエージェント強化学習(MARL)に重大な課題をもたらす。 スパース・リワード・セッティングにおける各ステップでのアクションに対する明確なフィードバックがなければ、従来の手法はエージェント間の正確なクレジット割り当てと効果的な探索に苦労する。 本稿では,報酬分散ドメインにおけるクレジット代入と探索の両問題に対処する新しい手法を提案する。 そこで本研究では,個々のエージェントの影響を受けうる状態の次元/属性の特定の値を取ることにより,エージェントのスコープ(ISA)が状態に与える影響を計算するアルゴリズムを提案する。 エージェントの行動と状態属性の相互依存は、各エージェントの信用割り当てを計算し、各エージェントの探索空間を除くために使用される。 次に,多様なスパース・リワード型マルチエージェントシナリオでISAを評価する。 その結果,本手法は最先端のベースラインを著しく上回ることがわかった。

関連論文リスト

• Leveraging Large Language Models for Effective and Explainable Multi-Agent Credit Assignment [4.406086834602686]
  シーケンス改善と帰属の2つのパターン認識問題に対する信用割当の修正方法を示す。 提案手法では,各エージェントの個々の貢献に基づいて,環境報酬を数値的に分解する集中型報酬批判を利用する。 どちらの手法も、Level-Based ForagingやRobotic Warehouse、衝突に関連する安全性の制約を取り入れたSpaceworldベンチマークなど、さまざまなベンチマークにおいて、最先端の手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2025-02-24T05:56:47Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Quantifying Agent Interaction in Multi-agent Reinforcement Learning for Cost-efficient Generalization [63.554226552130054]
  マルチエージェント強化学習(MARL)における一般化の課題 エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。 与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
  論文  参考訳（メタデータ） (2023-10-11T06:09:26Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning [55.55009081609396]
  本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。 RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。 提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T03:39:27Z)
• Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling [13.915157044948364]
  マルチエージェント強化学習をスケールする上で重要な障害の1つは、個々のエージェントの行動にクレジットを割り当てることである。 本稿では,このクレジット代入問題に対して,PRD(textitpartial reward decoupling)と呼ぶアプローチで対処する。 PRDは、大規模な協調的マルチエージェントRL問題を、エージェントのサブセットを含む分離されたサブプロブレムに分解し、クレジット割り当てを単純化する。
  論文  参考訳（メタデータ） (2021-12-23T17:48:04Z)
• Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration [40.87053312548429]
  EMCと呼ばれる好奇心を駆使した新しい多エージェント強化学習について紹介する。 我々は,個別Q値の予測誤差を協調探索の本質的な報奨として使用し,エピソードメモリを用いて探索的な情報的経験を利用して政策訓練を促進する。
  論文  参考訳（メタデータ） (2021-11-22T07:34:47Z)
• Shapley Counterfactual Credits for Multi-Agent Reinforcement Learning [34.856522993714535]
  本稿では,エージェントの連立性を考慮した明示的な信用割当手法であるシェープリー・カウンセリング・クレジット・アサインメントを提案する。 提案手法は,既存の協調型MARLアルゴリズムを著しく上回り,特に難易度の高いタスクにおいて,最先端のアルゴリズムを実現する。
  論文  参考訳（メタデータ） (2021-06-01T07:38:34Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。