論文の概要: Behaviour Discovery and Attribution for Explainable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2503.14973v1
• Date: Wed, 19 Mar 2025 08:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:02.384925
• Title: Behaviour Discovery and Attribution for Explainable Reinforcement Learning
• Title（参考訳）: 説明可能な強化学習のための行動発見と属性
• Authors: Rishav Rishav, Somjit Nath, Vincent Michalski, Samira Ebrahimi Kahou,
• Abstract要約: オフラインRL軌道における行動発見と行動帰属の枠組みを提案する。 本手法は, 意味のある行動セグメントを同定し, より精密で詳細な説明を可能にする。 このアプローチは、最小限の変更で、多様な環境に適応できます。
• 参考スコア（独自算出の注目度）: 6.123880364445758
• License:
• Abstract: Explaining the decisions made by reinforcement learning (RL) agents is critical for building trust and ensuring reliability in real-world applications. Traditional approaches to explainability often rely on saliency analysis, which can be limited in providing actionable insights. Recently, there has been growing interest in attributing RL decisions to specific trajectories within a dataset. However, these methods often generalize explanations to long trajectories, potentially involving multiple distinct behaviors. Often, providing multiple more fine grained explanations would improve clarity. In this work, we propose a framework for behavior discovery and action attribution to behaviors in offline RL trajectories. Our method identifies meaningful behavioral segments, enabling more precise and granular explanations associated with high level agent behaviors. This approach is adaptable across diverse environments with minimal modifications, offering a scalable and versatile solution for behavior discovery and attribution for explainable RL.
• Abstract（参考訳）: 強化学習(RL)エージェントによる決定を説明することは、現実のアプリケーションにおける信頼性の構築と信頼性確保に不可欠である。 従来の説明可能性へのアプローチは、しばしばサリエンシ分析に依存しており、実行可能な洞察の提供に制限される可能性がある。 近年、データセット内の特定の軌跡にRL決定を帰属させることへの関心が高まっている。 しかしながら、これらの手法は長い軌跡の説明を一般化し、複数の異なる振る舞いを含む可能性がある。 しばしば、よりきめ細かい説明を提供することで、明確さが向上する。 本研究では,オフラインRL軌道における行動発見と行動帰属の枠組みを提案する。 提案手法は意味のある行動セグメントを同定し,高レベルのエージェント動作に関連するより精密できめ細かい説明を可能にする。 このアプローチは、最小限の修正で多様な環境に適用可能であり、振る舞いの発見と説明可能なRLへの帰属のためのスケーラブルで汎用的なソリューションを提供する。

関連論文リスト

• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Causal State Distillation for Explainable Reinforcement Learning [16.998047658978482]
  強化学習(Reinforcement Learning, RL)は、知的エージェントを訓練するための強力なテクニックであるが、これらのエージェントが特定の決定を下す理由を理解することは困難である。 この問題に対処するために様々なアプローチが検討され、ある有望な道は報酬分解(RD)である。 RDは、エージェントの振る舞いをポストホックな方法で合理化しようとする他の方法に関連する懸念のいくつかを傍受するので、魅力的である。 我々は、より情報的な説明を提供するために、サブリワードを超えてRDの拡張を示す。
  論文  参考訳（メタデータ） (2023-12-30T00:01:22Z)
• A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories [122.11358440078581]
  オフラインの模倣は、任意のインタラクションがコストがかかり、専門家のアクションが利用できない現実世界のシナリオで有用である。 本研究では,タスク固有の専門的状態とタスクに依存しない非専門的状態-アクションペアのみを利用できるMPPを解決するために,観察から学習するトラジェクトリ・アウェア・ラーニング(TAILO)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T15:41:09Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare [38.42691031505782]
  本稿では, 因子化作用空間によって誘導される線形Q-関数分解の形式を提案する。 我々の手法は、状態-作用空間の未探索領域内でエージェントがより正確な推論を行うのに役立つ。
  論文  参考訳（メタデータ） (2023-05-02T19:13:10Z)
• RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning [2.0341936392563063]
  本稿では,RLエージェントの動作に対する反実的説明を生成するための,RACCERを提案する。 木探索を用いて、定義された特性に基づいて最も適切なカウンターファクトを見つける。 我々はRACCERを2つのタスクで評価し、また、RL固有の対策がエージェントの行動をよりよく理解するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-08T09:47:00Z)
• Explainable Reinforcement Learning via Model Transforms [18.385505289067023]
  基礎となるマルコフ決定プロセスが完全には分かっていないとしても、それにもかかわらず、自動的に説明を生成するために利用することができる、と我々は主張する。 本稿では,従来の文献で最適ポリシー探索の高速化に用いられていた形式的MDP抽象化と変換を用いて,説明を自動的に生成することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T13:18:06Z)
• Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis [14.656957226255628]
  本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。 我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
  論文  参考訳（メタデータ） (2022-06-17T23:07:33Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。