論文の概要: A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values

• arxiv url: http://arxiv.org/abs/2505.07797v2
• Date: Thu, 31 Jul 2025 17:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 15:10:45.050814
• Title: A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values
• Title（参考訳）: 共有価値を用いた強化学習に関する理論的枠組み
• Authors: Daniel Beechey, Thomas M. S. Smith, Özgür Şimşek,
• Abstract要約: 強化学習エージェントは複雑な意思決定タスクにおいて超人的パフォーマンスを達成することができるが、その振る舞いを理解することはしばしば困難である。 我々は、強化学習エージェントの総合的な視点を提供する3つの中核的説明対象を特定した。 本研究では,エージェントが環境下で観察する個々の特徴の影響を利用して,これらの強化学習エージェントの3つの要素を説明するための統一的理論的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning agents can achieve super-human performance in complex decision-making tasks, but their behaviour is often difficult to understand and explain. This lack of explanation limits deployment, especially in safety-critical settings where understanding and trust are essential. We identify three core explanatory targets that together provide a comprehensive view of reinforcement learning agents: behaviour, outcomes, and predictions. We develop a unified theoretical framework for explaining these three elements of reinforcement learning agents through the influence of individual features that the agent observes in its environment. We derive feature influences by using Shapley values, which collectively and uniquely satisfy a set of well-motivated axioms for fair and consistent credit assignment. The proposed approach, Shapley Values for Explaining Reinforcement Learning (SVERL), provides a single theoretical framework to comprehensively and meaningfully explain reinforcement learning agents. It yields explanations with precise semantics that are not only interpretable but also mathematically justified, enabling us to identify and correct conceptual issues in prior explanations. Through illustrative examples, we show how SVERL produces useful, intuitive explanations of agent behaviour, outcomes, and predictions, which are not apparent from observing agent behaviour alone.
• Abstract（参考訳）: 強化学習エージェントは複雑な意思決定タスクにおいて超人的パフォーマンスを達成することができるが、その振る舞いを理解することはしばしば困難である。 この説明の欠如は、特に理解と信頼が不可欠である安全クリティカルな環境でのデプロイメントを制限します。 我々は、強化学習エージェント(行動、結果、予測)の総合的な視点を提供する3つの中核的説明目標を特定した。 本研究では,エージェントが環境下で観察する個々の特徴の影響を利用して,これらの強化学習エージェントの3つの要素を説明するための統一的理論的枠組みを開発する。 我々は、公平で一貫した信用割当のために、一括して一意に動機付けられた公理を満足するシェープリー値を用いて特徴的影響を導出する。 提案手法であるShapley Values for Explaining Reinforcement Learning (SVERL)は、強化学習エージェントを包括的かつ有意義に説明するための単一の理論的枠組みを提供する。 これは、解釈可能なだけでなく数学的に正当化される正確な意味論を持つ説明を与え、事前の説明において概念的問題を特定し、修正することを可能にする。 具体例を通して,SVERLがエージェントの行動,結果,予測の有用かつ直感的な説明をいかに生み出すかを示す。

関連論文リスト

• Generating Causal Explanations of Vehicular Agent Behavioural Interactions with Learnt Reward Profiles [13.450023647228843]
  我々はエージェント間相互作用の説明を因果的に推測できるようなエージェントに対する報酬指標の重み付けを学習する。 3つの実世界の運転データセットに対して定量的かつ定性的にアプローチを検証する。
  論文  参考訳（メタデータ） (2025-03-18T01:53:59Z)
• Learning to Assist Humans without Inferring Rewards [65.28156318196397]
  我々は、エンパワーメントのレンズを通して支援を研究する先行研究に基づいて構築する。 補助剤は、人間の行動の影響を最大化することを目的としている。 これらの表現は、先行研究と類似したエンパワーメントの概念を推定する。
  論文  参考訳（メタデータ） (2024-11-04T21:31:04Z)
• REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability [23.81322529587759]
  REVEAL-ITは複雑な環境下でのエージェントの学習過程を説明するための新しいフレームワークである。 各種学習課題における政策構造とエージェントの学習過程を可視化する。 GNNベースの説明者は、ポリシーの最も重要な部分を強調することを学び、エージェントの学習プロセスについてより明確で堅牢な説明を提供する。
  論文  参考訳（メタデータ） (2024-06-20T11:29:26Z)
• Inverse Reinforcement Learning for Text Summarization [52.765898203824975]
  本稿では,抽象的な要約モデルを学習するための効果的なパラダイムとして,逆強化学習(IRL)を導入する。 異なる領域におけるデータセット間の実験結果は、MLEおよびRLベースラインに対する要約のための提案したIRLモデルの優位性を示す。
  論文  参考訳（メタデータ） (2022-12-19T23:45:05Z)
• Learning Rhetorical Structure Theory-based descriptions of observed behaviour [0.5249805590164901]
  本稿では,エージェントが観察された行動の新たな記述を学習できるようにするための,新しい概念セット,公理スキーマ,アルゴリズムを提案する。 エージェントが学習した記述を表現するために使用する関係は、修辞構造理論(RST)に触発された。 本稿では,実装ソフトウェアを用いた実演シナリオにおける提案提案の結果を示す。
  論文  参考訳（メタデータ） (2022-06-24T13:47:20Z)
• Active Inference in Robotics and Artificial Agents: Survey and Challenges [51.29077770446286]
  我々は、状態推定、制御、計画、学習のためのアクティブ推論の最先端理論と実装についてレビューする。 本稿では、適応性、一般化性、堅牢性の観点から、その可能性を示す関連する実験を紹介する。
  論文  参考訳（メタデータ） (2021-12-03T12:10:26Z)
• Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
  本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。 結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-10-04T10:28:57Z)
• Learning "What-if" Explanations for Sequential Decision-Making [92.8311073739295]
  実世界の意思決定の解釈可能なパラメータ化を実証行動に基づいて構築することが不可欠である。 そこで我々は,「何」の結果に対する嗜好の観点から,報酬関数をモデル化し,専門家による意思決定の学習的説明を提案する。 本研究は,行動の正確かつ解釈可能な記述を回復する上で,実効的逆強化学習手法であるバッチの有効性を強調した。
  論文  参考訳（メタデータ） (2020-07-02T14:24:17Z)
• What can I do here? A Theory of Affordances in Reinforcement Learning [65.70524105802156]
  我々はマルコフ決定過程の学習と計画を行うエージェントのための余裕の理論を開発する。 このケースでは、任意の状況で利用可能なアクションの数を減らすことで、アフォーダンスが二重の役割を担います。 本稿では,よりシンプルで一般化された遷移モデルを推定するために,余裕を学習し,それを利用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。