論文の概要: Behaviour Discovery and Attribution for Explainable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2503.14973v1
• Date: Wed, 19 Mar 2025 08:06:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 17:45:40.901024
• Title: Behaviour Discovery and Attribution for Explainable Reinforcement Learning
• Title（参考訳）: 説明可能な強化学習のための行動発見と属性
• Authors: Rishav Rishav, Somjit Nath, Vincent Michalski, Samira Ebrahimi Kahou,
• Abstract要約: オフラインRL軌道における行動発見と行動帰属の枠組みを提案する。 本手法は, 意味のある行動セグメントを同定し, より精密で詳細な説明を可能にする。 このアプローチは、最小限の変更で、多様な環境に適応できます。
• 参考スコア（独自算出の注目度）: 6.123880364445758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explaining the decisions made by reinforcement learning (RL) agents is critical for building trust and ensuring reliability in real-world applications. Traditional approaches to explainability often rely on saliency analysis, which can be limited in providing actionable insights. Recently, there has been growing interest in attributing RL decisions to specific trajectories within a dataset. However, these methods often generalize explanations to long trajectories, potentially involving multiple distinct behaviors. Often, providing multiple more fine grained explanations would improve clarity. In this work, we propose a framework for behavior discovery and action attribution to behaviors in offline RL trajectories. Our method identifies meaningful behavioral segments, enabling more precise and granular explanations associated with high level agent behaviors. This approach is adaptable across diverse environments with minimal modifications, offering a scalable and versatile solution for behavior discovery and attribution for explainable RL.
• Abstract（参考訳）: 強化学習(RL)エージェントによる決定を説明することは、現実のアプリケーションにおける信頼性の構築と信頼性確保に不可欠である。 従来の説明可能性へのアプローチは、しばしばサリエンシ分析に依存しており、実行可能な洞察の提供に制限される可能性がある。 近年、データセット内の特定の軌跡にRL決定を帰属させることへの関心が高まっている。 しかしながら、これらの手法は長い軌跡の説明を一般化し、複数の異なる振る舞いを含む可能性がある。 しばしば、よりきめ細かい説明を提供することで、明確さが向上する。 本研究では,オフラインRL軌道における行動発見と行動帰属の枠組みを提案する。 提案手法は意味のある行動セグメントを同定し,高レベルのエージェント動作に関連するより精密できめ細かい説明を可能にする。 このアプローチは、最小限の修正で多様な環境に適用可能であり、振る舞いの発見と説明可能なRLへの帰属のためのスケーラブルで汎用的なソリューションを提供する。

関連論文リスト

• Stochastic Encodings for Active Feature Acquisition [100.47043816019888]
  Active Feature Acquisitionは、インスタンスワイドでシーケンシャルな意思決定問題である。 目的は、テストインスタンスごとに独立して、現在の観測に基づいて計測する機能を動的に選択することである。 一般的なアプローチは強化学習(Reinforcement Learning)であり、トレーニングの困難を経験する。 我々は、教師付きで訓練された潜在変数モデルを導入し、潜在空間における観測不能な実現の可能性の多くにまたがる特徴を推論することで獲得する。
  論文  参考訳（メタデータ） (2025-08-03T23:48:46Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)
• On Learning Informative Trajectory Embeddings for Imitation, Classification and Regression [19.01804572722833]
  実世界のシーケンシャルな意思決定タスクでは、観察された状態-行動軌跡から学ぶことは、模倣、分類、クラスタリングのようなタスクには不可欠である。 本稿では,動的意思決定プロセスにおけるスキルと能力の獲得を目的とした,状態行動軌跡を潜在空間に埋め込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T06:52:58Z)
• Foundation Policies with Hilbert Representations [54.44869979017766]
  ラベルなしオフラインデータから一般ポリシーを事前学習するための教師なしフレームワークを提案する。 我々の重要な洞察は、基盤となる環境の時間的構造を保存する構造的表現を学習することである。 実験の結果、教師なしのポリシーは、ゴール条件付きおよび一般のRLタスクをゼロショットで解決できることがわかった。
  論文  参考訳（メタデータ） (2024-02-23T19:09:10Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Causal State Distillation for Explainable Reinforcement Learning [16.998047658978482]
  強化学習(Reinforcement Learning, RL)は、知的エージェントを訓練するための強力なテクニックであるが、これらのエージェントが特定の決定を下す理由を理解することは困難である。 この問題に対処するために様々なアプローチが検討され、ある有望な道は報酬分解(RD)である。 RDは、エージェントの振る舞いをポストホックな方法で合理化しようとする他の方法に関連する懸念のいくつかを傍受するので、魅力的である。 我々は、より情報的な説明を提供するために、サブリワードを超えてRDの拡張を示す。
  論文  参考訳（メタデータ） (2023-12-30T00:01:22Z)
• Invariant Causal Imitation Learning for Generalizable Policies [87.51882102248395]
  Invariant Causal Learning (ICIL) を提案する。 ICILはノイズ変数の特定の表現から切り離された因果的特徴の表現を学習する。 ICILは、目に見えない環境に一般化可能な模倣ポリシーの学習に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-02T16:52:36Z)
• A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories [122.11358440078581]
  オフラインの模倣は、任意のインタラクションがコストがかかり、専門家のアクションが利用できない現実世界のシナリオで有用である。 本研究では,タスク固有の専門的状態とタスクに依存しない非専門的状態-アクションペアのみを利用できるMPPを解決するために,観察から学習するトラジェクトリ・アウェア・ラーニング(TAILO)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T15:41:09Z)
• Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning [69.19840497497503]
  一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。 本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。 我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
  論文  参考訳（メタデータ） (2023-09-04T09:09:54Z)
• Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare [38.42691031505782]
  本稿では, 因子化作用空間によって誘導される線形Q-関数分解の形式を提案する。 我々の手法は、状態-作用空間の未探索領域内でエージェントがより正確な推論を行うのに役立つ。
  論文  参考訳（メタデータ） (2023-05-02T19:13:10Z)
• Spatiotemporal Self-supervised Learning for Point Clouds in the Wild [65.56679416475943]
  空間領域と時間領域の両方で正のペアを利用するSSL戦略を導入する。 2つの大規模LiDARデータセット上で,自己教師型トレーニングによって実施した広範囲な実験を通じて,このアプローチのメリットを実証する。
  論文  参考訳（メタデータ） (2023-03-28T18:06:22Z)
• RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning [2.0341936392563063]
  本稿では,RLエージェントの動作に対する反実的説明を生成するための,RACCERを提案する。 木探索を用いて、定義された特性に基づいて最も適切なカウンターファクトを見つける。 我々はRACCERを2つのタスクで評価し、また、RL固有の対策がエージェントの行動をよりよく理解するのに役立つことを示す。
  論文  参考訳（メタデータ） (2023-03-08T09:47:00Z)
• Emergent Behaviors in Multi-Agent Target Acquisition [0.0]
  追従回避ゲームにおける強化学習(RL)を用いたマルチエージェントシステム(MAS)のシミュレーションを行う。 我々は、RL訓練された追跡者のポリシーを2つの異なる(非RL)分析戦略に置き換えることで、異なる敵シナリオを作成する。 このアプローチの斬新さは、基礎となるデータ規則性を明らかにする影響力のある機能セットの作成を伴います。
  論文  参考訳（メタデータ） (2022-12-15T15:20:58Z)
• Disentangled Representation Learning [46.51815065323667]
  Disentangled Representation Learning (DRL) は、観測可能なデータに隠された基礎的要因を表現形式で識別し、切り離すことができるモデルを学習することを目的としている。 我々は、モチベーション、定義、方法論、評価、応用、モデル設計を含む様々な側面からDRLを包括的に調査する。
  論文  参考訳（メタデータ） (2022-11-21T18:14:38Z)
• Explainable Reinforcement Learning via Model Transforms [18.385505289067023]
  基礎となるマルコフ決定プロセスが完全には分かっていないとしても、それにもかかわらず、自動的に説明を生成するために利用することができる、と我々は主張する。 本稿では,従来の文献で最適ポリシー探索の高速化に用いられていた形式的MDP抽象化と変換を用いて,説明を自動的に生成することを提案する。
  論文  参考訳（メタデータ） (2022-09-24T13:18:06Z)
• A Framework for Understanding and Visualizing Strategies of RL Agents [0.0]
  本稿では,時間論理式を用いてエージェント戦略を特徴付ける逐次決定タスクの理解可能なモデル学習フレームワークを提案する。 我々は,手工芸の専門家政策と訓練された強化学習エージェントの痕跡を用いて,StarCraft II (SC2) の戦闘シナリオに関する枠組みを評価した。
  論文  参考訳（メタデータ） (2022-08-17T21:58:19Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Beyond Rewards: a Hierarchical Perspective on Offline Multiagent Behavioral Analysis [14.656957226255628]
  本稿では,マルチエージェント領域における行動クラスタの発見のためのモデルに依存しない手法を提案する。 我々のフレームワークはエージェントの基盤となる学習アルゴリズムを前提とせず、潜伏状態やモデルへのアクセスを必要とせず、完全にオフラインで観察データを使って訓練することができる。
  論文  参考訳（メタデータ） (2022-06-17T23:07:33Z)
• Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning [131.1852444489217]
  本稿では,オブジェクト認識方式で模倣ポリシーを標準化する手法として,オブジェクト認識型RegularizatiOn(OREO)を提案する。 我々の主な考えは、政策が専門家の行動と強く相関するニュアンス変数を悪用することを防ぐために、政策が全ての意味オブジェクトに均一に出席することを奨励することである。
  論文  参考訳（メタデータ） (2021-10-27T01:56:23Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。