論文の概要: Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes

• arxiv url: http://arxiv.org/abs/2312.11118v1
• Date: Mon, 18 Dec 2023 11:34:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 20:17:31.255056
• Title: Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
• Title（参考訳）: 対実行動結果による強化学習エージェントの解説
• Authors: Yotam Amitai, Yael Septon and Ofra Amir
• Abstract要約: エージェントが選択したアクションの結果を、偽物と視覚的に比較する新しい局所的説明法であるCOViz'を提案する。 エージェントのモチベーションを州限定で観察するほとんどのローカルな説明とは対照的に,本手法はエージェントが与えられた状態と結果から取るべき代替の軌跡を描いている。
• 参考スコア（独自算出の注目度）: 9.108253909440489
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Explainable reinforcement learning (XRL) methods aim to help elucidate agent policies and decision-making processes. The majority of XRL approaches focus on local explanations, seeking to shed light on the reasons an agent acts the way it does at a specific world state. While such explanations are both useful and necessary, they typically do not portray the outcomes of the agent's selected choice of action. In this work, we propose ``COViz'', a new local explanation method that visually compares the outcome of an agent's chosen action to a counterfactual one. In contrast to most local explanations that provide state-limited observations of the agent's motivation, our method depicts alternative trajectories the agent could have taken from the given state and their outcomes. We evaluated the usefulness of COViz in supporting people's understanding of agents' preferences and compare it with reward decomposition, a local explanation method that describes an agent's expected utility for different actions by decomposing it into meaningful reward types. Furthermore, we examine the complementary benefits of integrating both methods. Our results show that such integration significantly improved participants' performance.
• Abstract（参考訳）: 説明可能な強化学習(XRL)手法は、エージェントポリシーと意思決定プロセスの解明を支援する。 XRLのアプローチの大半は局所的な説明に焦点をあてており、エージェントが特定の世界の状況でそのように振る舞う理由を明かそうとしている。 このような説明は有用かつ必要であるが、通常はエージェントの選択した行動選択の結果を表すものではない。 本研究では,エージェントが選択したアクションの結果を反事実と視覚的に比較する,新しい局所的説明手法である`coviz'を提案する。 エージェントのモチベーションを州限定で観察するほとんどのローカルな説明とは対照的に,本手法はエージェントが与えられた状態と結果から取るべき代替の軌跡を描いている。 本研究では,エージェントの嗜好に対する理解を支援するcovizの有用性を評価し,その評価を,エージェントが期待する異なる行動に対する有用性を説明する局所的な説明法である報酬分解と比較した。 さらに,両手法の統合による相補的利点について検討した。 その結果,この統合により,参加者のパフォーマンスが著しく向上した。

関連論文リスト

• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents [3.8520321531809705]
  このようなエージェントの振る舞いを理解するのに役立つ手法は、大まかに局所的な説明とグローバルな説明に分けることができる。 強化学習エージェントの局所的・グローバル的説明の新たな組み合わせについて検討する。
  論文  参考訳（メタデータ） (2022-10-21T08:57:46Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
  人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。 本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。 本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-01-29T00:52:37Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• "I Don't Think So": Disagreement-Based Policy Summaries for Comparing Agents [2.6270468656705765]
  本稿では,エージェントのポリシーの違いを強調するコントラスト的な要約を生成する手法を提案する。 本結果から, 新規な不一致に基づく要約は, HighLIGHTS を用いた要約に比べてユーザパフォーマンスの向上につながることが示された。
  論文  参考訳（メタデータ） (2021-02-05T09:09:00Z)
• What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes [30.056732656973637]
  本稿では,意図した結果の概念に基づく強化学習の新たな説明方法を提案する。 これらの説明は、エージェントがそのアクションによって達成しようとしている結果を記述している。 従来の強化学習では,この性質のポストホックな説明のための一般的な手法は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T12:05:08Z)
• Local and Global Explanations of Agent Behavior: Integrating Strategy Summaries with Saliency Maps [4.568911586155097]
  我々は、強化学習エージェントのグローバルな説明とローカルな説明を組み合わせる。 本研究では,サリエンシマップを用いたシミュレーションから,状態の重要軌跡を抽出する戦略要約を強化する。 実測値と実測値との混合結果が得られた。
  論文  参考訳（メタデータ） (2020-05-18T16:44:55Z)
• Incentivizing Exploration with Selective Data Disclosure [70.11902902106014]
  効率的な探索を促すレコメンデーションシステムを提案し設計する。 エージェントは順次到着し、固定されたが未知のアクション固有の分布から引き出されたアクションを選択し、報酬を受け取る。 フレキシブル・頻繁な行動モデルを用いた探索において,最適な後悔率が得られる。
  論文  参考訳（メタデータ） (2018-11-14T19:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。