論文の概要: Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning

• arxiv url: http://arxiv.org/abs/2412.15619v2
• Date: Mon, 23 Dec 2024 01:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 12:13:14.923785
• Title: Understanding Individual Agent Importance in Multi-Agent System via Counterfactual Reasoning
• Title（参考訳）: 逆推論によるマルチエージェントシステムにおけるエージェントの重要性の理解
• Authors: Jianming Chen, Yawen Wang, Junjie Wang, Xiaofei Xie, jun Hu, Qing Wang, Fanjiang Xu,
• Abstract要約: 本稿では,エージェントの重要度を評価する新しいエージェントレベルの説明手法であるEMAIを提案する。 反実的推論にインスパイアされたエージェントのランダム化作用による報酬の変化は、その重要性を示唆している。 EMAIは、ベースラインよりも説明の忠実度が高く、実践的応用においてより効果的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 20.76991315856237
• License:
• Abstract: Explaining multi-agent systems (MAS) is urgent as these systems become increasingly prevalent in various applications. Previous work has proveided explanations for the actions or states of agents, yet falls short in understanding the black-boxed agent's importance within a MAS and the overall team strategy. To bridge this gap, we propose EMAI, a novel agent-level explanation approach that evaluates the individual agent's importance. Inspired by counterfactual reasoning, a larger change in reward caused by the randomized action of agent indicates its higher importance. We model it as a MARL problem to capture interactions across agents. Utilizing counterfactual reasoning, EMAI learns the masking agents to identify important agents. Specifically, we define the optimization function to minimize the reward difference before and after action randomization and introduce sparsity constraints to encourage the exploration of more action randomization of agents during training. The experimental results in seven multi-agent tasks demonstratee that EMAI achieves higher fidelity in explanations than baselines and provides more effective guidance in practical applications concerning understanding policies, launching attacks, and patching policies.
• Abstract（参考訳）: マルチエージェントシステム(MAS)の説明は、これらのシステムが様々なアプリケーションでますます普及するにつれて急務である。 以前の研究はエージェントの行動や状態の説明を証明しているが、MAS内のブラックボックスされたエージェントの重要性とチーム全体の戦略を理解するには不足している。 このギャップを埋めるために,各エージェントの重要性を評価する新しいエージェントレベルの説明手法であるEMAIを提案する。 反実的推論にインスパイアされたエージェントのランダム化作用による報酬の変化は、その重要性を示唆している。 エージェント間のインタラクションをキャプチャするMARL問題としてモデル化する。 EMAIは、カウンターファクト推論を利用して、重要なエージェントを識別するためにマスキングエージェントを学習する。 具体的には、アクションランダム化前後の報酬差を最小限に抑える最適化関数を定義し、トレーニング中のエージェントのアクションランダム化をさらに促進するためにスパーシティ制約を導入する。 7つのマルチエージェントタスクの実験結果から,EMAIはベースラインよりも説明の忠実度が高いことが示され,ポリシーの理解,攻撃の開始,ポリシーのパッチングに関する実践的応用において,より効果的なガイダンスが提供される。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Inverse Attention Agent for Multi-Agent System [6.196239958087161]
  マルチエージェントシステムにとって大きな課題は、エージェントが対戦相手やチームメイトが継続的に変化する様々な環境に動的に適応できるようにすることである。 本稿では、心の理論から概念を取り入れた逆注意エージェントを導入し、注意機構を用いてアルゴリズムで実装し、エンドツーエンドで訓練する。 逆アテンションネットワークが他のエージェントのアテンションを推測することに成功し、この情報によってエージェントのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-29T06:59:11Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Toward Policy Explanations for Multi-Agent Reinforcement Learning [18.33682005623418]
  MARLのための2種類のポリシー記述を生成するための新しい手法を提案する。 3つのMARL領域の実験結果から,提案手法のスケーラビリティが実証された。 ユーザスタディでは、生成された説明がユーザパフォーマンスを著しく改善し、ユーザ満足度などの指標に対する主観的評価が向上することを示した。
  論文  参考訳（メタデータ） (2022-04-26T20:07:08Z)
• Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
  人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。 本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。 本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-01-29T00:52:37Z)
• "I Don't Think So": Disagreement-Based Policy Summaries for Comparing Agents [2.6270468656705765]
  本稿では,エージェントのポリシーの違いを強調するコントラスト的な要約を生成する手法を提案する。 本結果から, 新規な不一致に基づく要約は, HighLIGHTS を用いた要約に比べてユーザパフォーマンスの向上につながることが示された。
  論文  参考訳（メタデータ） (2021-02-05T09:09:00Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。