論文の概要: A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values

• arxiv url: http://arxiv.org/abs/2505.07797v1
• Date: Mon, 12 May 2025 17:48:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.528821
• Title: A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values
• Title（参考訳）: 共有価値を用いた強化学習に関する理論的枠組み
• Authors: Daniel Beechey, Thomas M. S. Smith, Özgür Şimşek,
• Abstract要約: 我々は、国家的特徴の影響を通じて強化学習を説明する理論的枠組みを開発する。 説明の恩恵を受けるエージェント環境相互作用の3つの中核要素を同定する。 このアプローチは、明確な意味論と理論的保証を持つ数学的根拠のある説明の族を生み出す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning agents can achieve superhuman performance, but their decisions are often difficult to interpret. This lack of transparency limits deployment, especially in safety-critical settings where human trust and accountability are essential. In this work, we develop a theoretical framework for explaining reinforcement learning through the influence of state features, which represent what the agent observes in its environment. We identify three core elements of the agent-environment interaction that benefit from explanation: behaviour (what the agent does), performance (what the agent achieves), and value estimation (what the agent expects to achieve). We treat state features as players cooperating to produce each element and apply Shapley values, a principled method from cooperative game theory, to identify the influence of each feature. This approach yields a family of mathematically grounded explanations with clear semantics and theoretical guarantees. We use illustrative examples to show how these explanations align with human intuition and reveal novel insights. Our framework unifies and extends prior work, making explicit the assumptions behind existing approaches, and offers a principled foundation for more interpretable and trustworthy reinforcement learning.
• Abstract（参考訳）: 強化学習エージェントは超人的パフォーマンスを達成することができるが、その決定はしばしば解釈が難しい。 この透明性の欠如は、特に人間の信頼と説明責任が不可欠である安全クリティカルな環境でのデプロイメントを制限します。 本研究では,エージェントが環境下で観察するものを表す,状態特徴の影響を通じて強化学習を説明する理論的枠組みを開発する。 エージェントと環境の相互作用の中核となる3つの要素を識別する。動作(エージェントが何をするか)、パフォーマンス(エージェントが何を達成しているか)、価値推定(エージェントが何を達成しようとしているか)である。 我々は,各要素の生成に協力し,協調ゲーム理論の原則的手法であるShapley値を適用して,各特徴の影響を識別する選手として状態特徴を扱う。 このアプローチは、明確な意味論と理論的保証を持つ数学的根拠を持つ説明の族を生み出す。 これらの説明が人間の直感とどのように一致しているかを示し、新しい洞察を明らかにするために、実証的な例を用いています。 我々のフレームワークは先行作業の統合と拡張を行い、既存のアプローチの背景にある仮定を明確にし、より解釈可能で信頼性の高い強化学習のための原則的な基盤を提供します。

関連論文リスト

• Generating Causal Explanations of Vehicular Agent Behavioural Interactions with Learnt Reward Profiles [13.450023647228843]
  我々はエージェント間相互作用の説明を因果的に推測できるようなエージェントに対する報酬指標の重み付けを学習する。 3つの実世界の運転データセットに対して定量的かつ定性的にアプローチを検証する。
  論文  参考訳（メタデータ） (2025-03-18T01:53:59Z)
• Learning to Assist Humans without Inferring Rewards [65.28156318196397]
  我々は、エンパワーメントのレンズを通して支援を研究する先行研究に基づいて構築する。 補助剤は、人間の行動の影響を最大化することを目的としている。 これらの表現は、先行研究と類似したエンパワーメントの概念を推定する。
  論文  参考訳（メタデータ） (2024-11-04T21:31:04Z)
• REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability [23.81322529587759]
  REVEAL-ITは複雑な環境下でのエージェントの学習過程を説明するための新しいフレームワークである。 各種学習課題における政策構造とエージェントの学習過程を可視化する。 GNNベースの説明者は、ポリシーの最も重要な部分を強調することを学び、エージェントの学習プロセスについてより明確で堅牢な説明を提供する。
  論文  参考訳（メタデータ） (2024-06-20T11:29:26Z)
• Inverse Reinforcement Learning for Text Summarization [52.765898203824975]
  本稿では,抽象的な要約モデルを学習するための効果的なパラダイムとして,逆強化学習(IRL)を導入する。 異なる領域におけるデータセット間の実験結果は、MLEおよびRLベースラインに対する要約のための提案したIRLモデルの優位性を示す。
  論文  参考訳（メタデータ） (2022-12-19T23:45:05Z)
• Learning Rhetorical Structure Theory-based descriptions of observed behaviour [0.5249805590164901]
  本稿では,エージェントが観察された行動の新たな記述を学習できるようにするための,新しい概念セット,公理スキーマ,アルゴリズムを提案する。 エージェントが学習した記述を表現するために使用する関係は、修辞構造理論(RST)に触発された。 本稿では,実装ソフトウェアを用いた実演シナリオにおける提案提案の結果を示す。
  論文  参考訳（メタデータ） (2022-06-24T13:47:20Z)
• Active Inference in Robotics and Artificial Agents: Survey and Challenges [51.29077770446286]
  我々は、状態推定、制御、計画、学習のためのアクティブ推論の最先端理論と実装についてレビューする。 本稿では、適応性、一般化性、堅牢性の観点から、その可能性を示す関連する実験を紹介する。
  論文  参考訳（メタデータ） (2021-12-03T12:10:26Z)
• Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
  本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。 結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-10-04T10:28:57Z)
• Learning "What-if" Explanations for Sequential Decision-Making [92.8311073739295]
  実世界の意思決定の解釈可能なパラメータ化を実証行動に基づいて構築することが不可欠である。 そこで我々は,「何」の結果に対する嗜好の観点から,報酬関数をモデル化し,専門家による意思決定の学習的説明を提案する。 本研究は,行動の正確かつ解釈可能な記述を回復する上で,実効的逆強化学習手法であるバッチの有効性を強調した。
  論文  参考訳（メタデータ） (2020-07-02T14:24:17Z)
• What can I do here? A Theory of Affordances in Reinforcement Learning [65.70524105802156]
  我々はマルコフ決定過程の学習と計画を行うエージェントのための余裕の理論を開発する。 このケースでは、任意の状況で利用可能なアクションの数を減らすことで、アフォーダンスが二重の役割を担います。 本稿では,よりシンプルで一般化された遷移モデルを推定するために,余裕を学習し,それを利用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。