論文の概要: Explainable Reinforcement Learning Agents Using World Models

• arxiv url: http://arxiv.org/abs/2505.08073v1
• Date: Mon, 12 May 2025 21:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.335167
• Title: Explainable Reinforcement Learning Agents Using World Models
• Title（参考訳）: 世界モデルを用いた説明可能な強化学習エージェント
• Authors: Madhuri Singh, Amal Alabdulkarim, Gennie Mansi, Mark O. Riedl,
• Abstract要約: 本稿では,ワールドモデルを用いてモデルベースディープRLエージェントの説明を生成する手法を提案する。 世界モデルは、アクションが実行されたときに世界がどのように変化するかを予測し、反現実的な軌道の生成を可能にする。 我々は,世界がどのようなものであったかを示す説明がエージェントポリシーに対する理解を著しく高めることを示す。
• 参考スコア（独自算出の注目度）: 14.489344385644467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explainable AI (XAI) systems have been proposed to help people understand how AI systems produce outputs and behaviors. Explainable Reinforcement Learning (XRL) has an added complexity due to the temporal nature of sequential decision-making. Further, non-AI experts do not necessarily have the ability to alter an agent or its policy. We introduce a technique for using World Models to generate explanations for Model-Based Deep RL agents. World Models predict how the world will change when actions are performed, allowing for the generation of counterfactual trajectories. However, identifying what a user wanted the agent to do is not enough to understand why the agent did something else. We augment Model-Based RL agents with a Reverse World Model, which predicts what the state of the world should have been for the agent to prefer a given counterfactual action. We show that explanations that show users what the world should have been like significantly increase their understanding of the agent policy. We hypothesize that our explanations can help users learn how to control the agents execution through by manipulating the environment.
• Abstract（参考訳）: 説明可能なAI(XAI)システムは、AIシステムがアウトプットや振る舞いを生成する方法を理解するために提案されている。 説明可能な強化学習(XRL)は、シーケンシャルな意思決定の時間的性質により、複雑さが増す。 さらに、非AI専門家がエージェントやポリシーを変更する能力を持っているとは限らない。 本稿では,ワールドモデルを用いてモデルベースディープRLエージェントの説明を生成する手法を提案する。 世界モデルは、アクションが実行されたときに世界がどのように変化するかを予測し、反現実的な軌道の生成を可能にする。 しかし、ユーザーがエージェントに何をしたいかを特定することは、エージェントが他の何かをした理由を理解するのに十分ではない。 モデルに基づくRLエージェントを逆世界モデルで拡張し、エージェントが与えられた反事実的行動を好むためには、世界の状態がどのようなものであったかを予測する。 我々は,世界がどのようなものであったかを示す説明がエージェントポリシーに対する理解を著しく高めることを示す。 我々は,環境を操作してエージェントの実行を制御する方法を学ぶ上で,我々の説明が有効であると仮定する。

関連論文リスト

• Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents [64.75036903373712]
  Proposer-Agent-Evaluatorは、基礎モデルエージェントが野生のスキルを自律的に発見し、実践することを可能にする学習システムである。 PAEの中心となるタスクプロポーサは、エージェントがコンテキスト情報で実践するためのタスクを自律的に提案するコンテキスト対応タスクプロポーサである。 成功評価は、エージェントがRLを介してポリシーを洗練するための報酬信号として機能する。
  論文  参考訳（メタデータ） (2024-12-17T18:59:50Z)
• Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement [117.94654815220404]
  G"odel AgentはG"odelマシンにインスパイアされた自己進化型フレームワークである。 G"odel Agentは、パフォーマンス、効率、一般化性において手作業によるエージェントを上回る、継続的な自己改善を実現することができる。
  論文  参考訳（メタデータ） (2024-10-06T10:49:40Z)
• Intention-aware policy graphs: answering what, how, and why in opaque agents [0.1398098625978622]
  エージェントは、複雑な環境で相互作用し、創発的行動の可能性を高める、AIベースの特殊なソフトウェアである。 本稿では,確率的グラフィカルモデルと,そのようなモデル設計のためのパイプラインを提案する。 提案する説明の解釈可能性および信頼性を評価するために,提案手法を貢献する。 このモデルは、エージェントの行動と世界状態の一部を観察することで構築することができる。
  論文  参考訳（メタデータ） (2024-09-27T09:31:45Z)
• Semifactual Explanations for Reinforcement Learning [1.5320737596132754]
  強化学習(Reinforcement Learning、RL)は、エージェントが試行錯誤を通じて環境から学習する学習パラダイムである。 ディープ強化学習(DRL)アルゴリズムは、ニューラルネットワークを使用してエージェントのポリシーを表現し、その決定を解釈しにくくする。 DRLエージェントの動作を説明するには,ユーザの信頼を向上し,エンゲージメントを高め,実際のタスクとの統合を容易にする必要がある。
  論文  参考訳（メタデータ） (2024-09-09T08:37:47Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• The Rise and Potential of Large Language Model Based Agents: A Survey [91.71061158000953]
  大規模言語モデル(LLM)は、人工知能(AGI)の潜在的な火花と見なされる まず、エージェントの概念を哲学的起源からAI開発まで追跡し、LLMがエージェントに適した基盤である理由を説明します。 単一エージェントシナリオ,マルチエージェントシナリオ,ヒューマンエージェント協調の3つの側面において,LLMベースのエージェントの広範な応用について検討する。
  論文  参考訳（メタデータ） (2023-09-14T17:12:03Z)
• GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations [0.7874708385247353]
  本稿では,RLエージェントの反実的説明を生成する手法を提案する。 本手法は完全にモデルに依存しないので,いくつかの計算量において,従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:29:43Z)
• Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning [85.86440477005523]
  我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-18T20:54:00Z)
• Self-Initiated Open World Learning for Autonomous AI Agents [16.41396764793912]
  実際にAIエージェントが使われるようになるにつれて、エージェントを完全に自律的にする方法を考える時が来た。 本稿では,自己開始型オープンワールド学習エージェントの構築研究を促進するための,この学習パラダイムの理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:11:02Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。