論文の概要: Explaining Decentralized Multi-Agent Reinforcement Learning Policies

• arxiv url: http://arxiv.org/abs/2511.10409v1
• Date: Fri, 14 Nov 2025 01:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.856977
• Title: Explaining Decentralized Multi-Agent Reinforcement Learning Policies
• Title（参考訳）: 分散型マルチエージェント強化学習政策の解説
• Authors: Kayla Boggess, Sarit Kraus, Lu Feng,
• Abstract要約: 本稿では,分散MARL政策におけるタスクオーダリングとエージェント協調をキャプチャする政策要約を生成する手法を提案する。 我々は4つのMARL領域と2つの分散MARLアルゴリズムにまたがるアプローチを評価し、その一般化性と計算効率を実証した。
• 参考スコア（独自算出の注目度）: 23.723793486760325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Agent Reinforcement Learning (MARL) has gained significant interest in recent years, enabling sequential decision-making across multiple agents in various domains. However, most existing explanation methods focus on centralized MARL, failing to address the uncertainty and nondeterminism inherent in decentralized settings. We propose methods to generate policy summarizations that capture task ordering and agent cooperation in decentralized MARL policies, along with query-based explanations for When, Why Not, and What types of user queries about specific agent behaviors. We evaluate our approach across four MARL domains and two decentralized MARL algorithms, demonstrating its generalizability and computational efficiency. User studies show that our summarizations and explanations significantly improve user question-answering performance and enhance subjective ratings on metrics such as understanding and satisfaction.
• Abstract（参考訳）: 近年,MARL(Multi-Agent Reinforcement Learning)が注目されている。 しかし、既存のほとんどの説明手法は集中型MARLに焦点を当てており、分散化された環境に固有の不確実性と非決定性に対処できない。 本稿では、分散MARLポリシーにおけるタスク注文とエージェント協調をキャプチャするポリシー要約を生成する手法を提案する。 我々は4つのMARL領域と2つの分散MARLアルゴリズムにまたがるアプローチを評価し、その一般化性と計算効率を実証した。 ユーザスタディでは,要約と説明によってユーザの質問応答性能が大幅に向上し,理解や満足度などの指標に対する主観的評価が向上することが示されている。

関連論文リスト

• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• An Algorithm For Adversary Aware Decentralized Networked MARL [0.0]
  既存のMARLアルゴリズムのコンセンサス更新に脆弱性を導入する。 我々は,非敵エージェントが敵の存在下で合意に達することを可能にするアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-05-09T16:02:31Z)
• Macro-Action-Based Multi-Agent/Robot Deep Reinforcement Learning under Partial Observability [4.111899441919164]
  最先端のマルチエージェント強化学習(MARL)手法は、様々な複雑な問題に対して有望な解決策を提供してきた。 まず,MacDec-POMDPに対する値に基づくRL手法を提案する。 3つの訓練パラダイムの下でマクロアクションに基づくポリシー勾配アルゴリズムを定式化する。
  論文  参考訳（メタデータ） (2022-09-20T21:13:51Z)
• RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning [55.55009081609396]
  本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。 RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。 提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T03:39:27Z)
• Toward Policy Explanations for Multi-Agent Reinforcement Learning [18.33682005623418]
  MARLのための2種類のポリシー記述を生成するための新しい手法を提案する。 3つのMARL領域の実験結果から,提案手法のスケーラビリティが実証された。 ユーザスタディでは、生成された説明がユーザパフォーマンスを著しく改善し、ユーザ満足度などの指標に対する主観的評価が向上することを示した。
  論文  参考訳（メタデータ） (2022-04-26T20:07:08Z)
• Regularize! Don't Mix: Multi-Agent Reinforcement Learning without Explicit Centralized Structures [8.883885464358737]
  Em Multi-Agent Regularized Q-learning (MARQ) と呼ばれる明示的な協調構造を学習するのではなく、正規化を用いたマルチエージェント強化学習を提案する。 提案アルゴリズムは,複数のベンチマークマルチエージェント環境において評価され,MARQが複数のベースラインや最先端のアルゴリズムより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-19T00:58:38Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)
• FACMAC: Factored Multi-Agent Centralised Policy Gradients [103.30380537282517]
  FACtored Multi-Agent Centralized Policy gradients (FACMAC)を提案する。 離散的および連続的な行動空間における協調的マルチエージェント強化学習のための新しい手法である。 我々は,マルチエージェント粒子環境の変動に対するFACMAC,新しいマルチエージェント MuJoCo ベンチマーク,およびStarCraft II マイクロマネジメントタスクの挑戦的セットについて評価した。
  論文  参考訳（メタデータ） (2020-03-14T21:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。