論文の概要: TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models

• arxiv url: http://arxiv.org/abs/2509.04809v2
• Date: Mon, 08 Sep 2025 00:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 12:02:46.93512
• Title: TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models
• Title（参考訳）: TalkToAgent: 大規模言語モデルを用いた強化学習エージェントの人間中心の説明
• Authors: Haechang Kim, Hao Chen, Can Li, Jong Min Lee,
• Abstract要約: 強化学習ポリシーのための対話型自然言語説明を提供するフレームワークであるTalkToAgentを紹介する。 Coordinator, Explainer, Coder, Evaluator, Debuggerの5つの特殊なエージェントを持つアーキテクチャにより、TalkToAgentは、ユーザクエリを関連するXRLツールに自動的にマッピングできる。
• 参考スコア（独自算出の注目度）: 15.125981288047546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable Reinforcement Learning (XRL) has emerged as a promising approach in improving the transparency of Reinforcement Learning (RL) agents. However, there remains a gap between complex RL policies and domain experts, due to the limited comprehensibility of XRL results and isolated coverage of current XRL approaches that leave users uncertain about which tools to employ. To address these challenges, we introduce TalkToAgent, a multi-agent Large Language Models (LLM) framework that delivers interactive, natural language explanations for RL policies. The architecture with five specialized LLM agents (Coordinator, Explainer, Coder, Evaluator, and Debugger) enables TalkToAgent to automatically map user queries to relevant XRL tools and clarify an agent's actions in terms of either key state variables, expected outcomes, or counterfactual explanations. Moreover, our approach extends previous counterfactual explanations by deriving alternative scenarios from qualitative behavioral descriptions, or even new rule-based policies. We validated TalkToAgent on quadruple-tank process control problem, a well-known nonlinear control benchmark. Results demonstrated that TalkToAgent successfully mapped user queries into XRL tasks with high accuracy, and coder-debugger interactions minimized failures in counterfactual generation. Furthermore, qualitative evaluation confirmed that TalkToAgent effectively interpreted agent's actions and contextualized their meaning within the problem domain.
• Abstract（参考訳）: 説明可能な強化学習(XRL)は、強化学習(RL)エージェントの透明性向上のための有望なアプローチとして登場した。 しかしながら、XRL結果の限定的な理解性や、どのツールを使うべきかをユーザが不確実なものにしている現在のXRLアプローチの独立したカバレッジのため、複雑なRLポリシーとドメインエキスパートの間には依然としてギャップがある。 これらの課題に対処するため,多エージェント大規模言語モデル(LLM)フレームワークであるTalkToAgentを紹介した。 5つの特殊なLLMエージェント(コーディネータ、Explainer、Coder、Evaluator、Debugger)によるアーキテクチャにより、TalkToAgentは、ユーザクエリを関連するXRLツールに自動的にマッピングし、キー状態変数、期待される結果、あるいは偽の説明の観点からエージェントのアクションを明確にすることができる。 さらに,本手法は,定性的な行動記述や新しいルールベースのポリシーから,代替シナリオを導出することにより,過去の事実説明を拡張した。 我々は、よく知られた非線形制御ベンチマークである4倍タンクプロセス制御問題に対してTalkToAgentを検証した。 結果から,TalkToAgentは高精度でユーザクエリをXRLタスクにマッピングし,コーダとデバッガの相互作用によってエラーを最小化することを示した。 さらに質的評価により,TalkToAgentはエージェントの動作を効果的に解釈し,問題領域内での意味を文脈的に認識した。

関連論文リスト

• AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。 我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• XAgents: A Framework for Interpretable Rule-Based Multi-Agents Cooperation [4.872631281771186]
  XAgents は IF-THEN ルールベースのシステムに基づく,解釈可能なマルチエージェント協調フレームワークである。 XAgetnsはタスクを異なるドメインルールに送信し、その後様々なレスポンスを生成する。 ルールベースの解釈可能性の導入は、XAgentsフレームワークに対するユーザの信頼を高めるのに役立ちます。
  論文  参考訳（メタデータ） (2024-11-21T08:28:27Z)
• Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
  我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。 それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。 エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-19T02:20:06Z)
• Semifactual Explanations for Reinforcement Learning [1.5320737596132754]
  強化学習(Reinforcement Learning、RL)は、エージェントが試行錯誤を通じて環境から学習する学習パラダイムである。 ディープ強化学習(DRL)アルゴリズムは、ニューラルネットワークを使用してエージェントのポリシーを表現し、その決定を解釈しにくくする。 DRLエージェントの動作を説明するには,ユーザの信頼を向上し,エンゲージメントを高め,実際のタスクとの統合を容易にする必要がある。
  論文  参考訳（メタデータ） (2024-09-09T08:37:47Z)
• GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations [0.7874708385247353]
  本稿では,RLエージェントの反実的説明を生成する手法を提案する。 本手法は完全にモデルに依存しないので,いくつかの計算量において,従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:29:43Z)
• A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges [51.699348215510575]
  強化学習(Reinforcement Learning, RL)は、インテリジェントエージェントが環境と対話して長期的な目標を達成する、一般的な機械学習パラダイムである。 励ましの結果にもかかわらず、ディープニューラルネットワークベースのバックボーンは、専門家が高いセキュリティと信頼性が不可欠である現実的なシナリオにおいて、訓練されたエージェントを信頼し、採用することを妨げるブラックボックスとして広く見なされている。 この問題を緩和するために、本質的な解釈可能性やポストホックな説明可能性を構築することにより、知的エージェントの内部動作に光を放つための大量の文献が提案されている。
  論文  参考訳（メタデータ） (2022-11-12T13:52:06Z)
• Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
  人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。 本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。 本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-01-29T00:52:37Z)
• Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework and Survey [0.7366405857677226]
  強化学習(Reinforcement Learning, RL)法は、ブロードXAIの開発に必要な認知モデルのための潜在的なバックボーンを提供する。 RLは、さまざまなシーケンシャルな意思決定問題の解決に成功している一連のアプローチである。 本稿では,現在のXRL研究を統一し,Broad-XAI開発のバックボーンとしてRLを用いるCausal XRL Framework (CXF) という概念的フレームワークを導入することを目的とする。
  論文  参考訳（メタデータ） (2021-08-20T05:18:50Z)
• Believe What You See: Implicit Constraint Approach for Offline Multi-Agent Reinforcement Learning [16.707045765042505]
  現在のオフラインRLアルゴリズムは、累積外挿誤差のため、マルチエージェントシステムでは有効ではない。 本稿では,外挿誤差を効果的に軽減する新しいオフラインRLアルゴリズム,Implicit Constraint Q-learning (ICQ)を提案する。 実験結果から, 外挿誤差はほぼゼロに減少し, エージェント数に敏感であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-07T08:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。