論文の概要: Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2210.11825v1
• Date: Fri, 21 Oct 2022 08:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 14:07:57.485259
• Title: Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
• Title（参考訳）: 強化学習エージェント説明のための報酬分解と政策要約の統合
• Authors: Yael Septon, Tobias Huber, Elisabeth Andr\'e, Ofra Amir
• Abstract要約: このようなエージェントの振る舞いを理解するのに役立つ手法は、大まかに局所的な説明とグローバルな説明に分けることができる。 強化学習エージェントの局所的・グローバル的説明の新たな組み合わせについて検討する。
• 参考スコア（独自算出の注目度）: 3.8520321531809705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explaining the behavior of reinforcement learning agents operating in sequential decision-making settings is challenging, as their behavior is affected by a dynamic environment and delayed rewards. Methods that help users understand the behavior of such agents can roughly be divided into local explanations that analyze specific decisions of the agents and global explanations that convey the general strategy of the agents. In this work, we study a novel combination of local and global explanations for reinforcement learning agents. Specifically, we combine reward decomposition, a local explanation method that exposes which components of the reward function influenced a specific decision, and HIGHLIGHTS, a global explanation method that shows a summary of the agent's behavior in decisive states. We conducted two user studies to evaluate the integration of these explanation methods and their respective benefits. Our results show significant benefits for both methods. In general, we found that the local reward decomposition was more useful for identifying the agents' priorities. However, when there was only a minor difference between the agents' preferences, then the global information provided by HIGHLIGHTS additionally improved participants' understanding.
• Abstract（参考訳）: 逐次的意思決定設定における強化学習エージェントの動作を説明することは、動的環境や遅延報酬の影響を受け、困難である。 このようなエージェントの振る舞いを理解するのに役立つ方法は、エージェントの特定の決定を分析するローカルな説明と、エージェントの一般的な戦略を伝えるグローバルな説明に大まかに分けることができる。 本研究では,強化学習エージェントのための局所的説明とグローバル的説明の組み合わせについて検討する。 具体的には,報酬関数のどの構成要素が特定の決定に影響を及ぼすかを明らかにする局所的説明法である報酬分解法と,決定的状態におけるエージェントの行動の要約を示すグローバル説明法であるhighlightsを組み合わせる。 これらの説明手法の統合とそのメリットを評価するために,2つのユーザ研究を行った。 その結果,両手法に有意な効果が認められた。 概して,局所報酬分解はエージェントの優先順位を特定するのにより有用であることがわかった。 しかし,エージェントの嗜好にわずかの違いしかなかった場合,HighlIGHTSが提供するグローバル情報によって参加者の理解が向上した。

関連論文リスト

• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
  反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。 3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2024-06-17T03:29:13Z)
• RILe: Reinforced Imitation Learning [60.63173816209543]
  RILeは、学生のパフォーマンスと専門家によるデモンストレーションとの整合性に基づいて、動的報酬関数を学習する新しいトレーナー学生システムである。 RILeは、従来のメソッドがフェールする複雑な環境でのより良いパフォーマンスを実現し、複雑なシミュレートされたロボット移動タスクにおいて、既存のメソッドを2倍の性能で上回る。
  論文  参考訳（メタデータ） (2024-06-12T17:56:31Z)
• Causal State Distillation for Explainable Reinforcement Learning [16.998047658978482]
  強化学習(Reinforcement Learning, RL)は、知的エージェントを訓練するための強力なテクニックであるが、これらのエージェントが特定の決定を下す理由を理解することは困難である。 この問題に対処するために様々なアプローチが検討され、ある有望な道は報酬分解(RD)である。 RDは、エージェントの振る舞いをポストホックな方法で合理化しようとする他の方法に関連する懸念のいくつかを傍受するので、魅力的である。 我々は、より情報的な説明を提供するために、サブリワードを超えてRDの拡張を示す。
  論文  参考訳（メタデータ） (2023-12-30T00:01:22Z)
• Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes [9.108253909440489]
  エージェントが選択したアクションの結果を、偽物と視覚的に比較する新しい局所的説明法であるCOViz'を提案する。 エージェントのモチベーションを州限定で観察するほとんどのローカルな説明とは対照的に,本手法はエージェントが与えられた状態と結果から取るべき代替の軌跡を描いている。
  論文  参考訳（メタデータ） (2023-12-18T11:34:58Z)
• Experiential Explanations for Reinforcement Learning [15.80179578318569]
  強化学習システムは複雑で解釈不能である。 本稿では,実証説明手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T14:27:53Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Explaining Reinforcement Learning Policies through Counterfactual Trajectories [147.7246109100945]
  人間の開発者は、RLエージェントがテスト時にうまく機能することを検証しなければならない。 本手法では, エージェントの挙動をより広い軌道分布で示すことにより, エージェントの挙動を分布変化下で表現する。 本研究では,2つのエージェント検証タスクのうちの1つに対して,ベースライン法よりも優れたスコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-01-29T00:52:37Z)
• "I Don't Think So": Disagreement-Based Policy Summaries for Comparing Agents [2.6270468656705765]
  本稿では,エージェントのポリシーの違いを強調するコントラスト的な要約を生成する手法を提案する。 本結果から, 新規な不一致に基づく要約は, HighLIGHTS を用いた要約に比べてユーザパフォーマンスの向上につながることが示された。
  論文  参考訳（メタデータ） (2021-02-05T09:09:00Z)
• Learning "What-if" Explanations for Sequential Decision-Making [92.8311073739295]
  実世界の意思決定の解釈可能なパラメータ化を実証行動に基づいて構築することが不可欠である。 そこで我々は,「何」の結果に対する嗜好の観点から,報酬関数をモデル化し,専門家による意思決定の学習的説明を提案する。 本研究は,行動の正確かつ解釈可能な記述を回復する上で,実効的逆強化学習手法であるバッチの有効性を強調した。
  論文  参考訳（メタデータ） (2020-07-02T14:24:17Z)
• Local and Global Explanations of Agent Behavior: Integrating Strategy Summaries with Saliency Maps [4.568911586155097]
  我々は、強化学習エージェントのグローバルな説明とローカルな説明を組み合わせる。 本研究では,サリエンシマップを用いたシミュレーションから,状態の重要軌跡を抽出する戦略要約を強化する。 実測値と実測値との混合結果が得られた。
  論文  参考訳（メタデータ） (2020-05-18T16:44:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。