論文の概要: CDT: Cascading Decision Trees for Explainable Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2011.07553v2
- Date: Tue, 30 Mar 2021 10:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 07:31:17.940366
- Title: CDT: Cascading Decision Trees for Explainable Reinforcement Learning
- Title(参考訳): CDT:説明可能な強化学習のためのカスケード決定木
- Authors: Zihan Ding, Pablo Hernandez-Leal, Gavin Weiguang Ding, Changjian Li,
Ruitong Huang
- Abstract要約: カスケーディング決定木(CDT)は、より豊かな表現性を実現するために、決定経路に表現学習を適用する。
第2のコントリビューションとして、本研究では、木に基づく説明可能なモデルによる模倣学習によるブラックボックスポリシーの説明の限界を明らかにした。
- 参考スコア(独自算出の注目度): 19.363238773001537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Reinforcement Learning (DRL) has recently achieved significant advances
in various domains. However, explaining the policy of RL agents still remains
an open problem due to several factors, one being the complexity of explaining
neural networks decisions. Recently, a group of works have used
decision-tree-based models to learn explainable policies. Soft decision trees
(SDTs) and discretized differentiable decision trees (DDTs) have been
demonstrated to achieve both good performance and share the benefit of having
explainable policies. In this work, we further improve the results for
tree-based explainable RL in both performance and explainability. Our proposal,
Cascading Decision Trees (CDTs) apply representation learning on the decision
path to allow richer expressivity. Empirical results show that in both
situations, where CDTs are used as policy function approximators or as
imitation learners to explain black-box policies, CDTs can achieve better
performances with more succinct and explainable models than SDTs. As a second
contribution our study reveals limitations of explaining black-box policies via
imitation learning with tree-based explainable models, due to its inherent
instability.
- Abstract(参考訳): 深層強化学習(DRL)は近年,様々な分野で大きな進歩を遂げている。
しかしながら、RLエージェントのポリシーを説明することは、ニューラルネットワークの決定を説明するのが複雑である、いくつかの要因があるため、依然としてオープンな問題である。
最近、ある研究グループが決定木に基づくモデルを使って説明可能なポリシーを学習している。
soft decision tree (sdts) と discretized differentiable decision tree (ddts) は、優れたパフォーマンスを達成し、説明可能なポリシーを持つことの利点を共有している。
本研究では,木に基づく説明可能なRLの性能と説明可能性の両面でさらに改善する。
提案するcascading decision tree (cdts) は,より豊かな表現性を実現するために,決定経路に表現学習を適用する。
実験結果から,CDTをポリシ関数近似器として,あるいはブラックボックスポリシーを説明する模擬学習者として使用する場合,CDTはSDTよりも簡潔で説明可能なモデルで,より優れたパフォーマンスを実現することができることがわかった。
第2の貢献として,本研究は,木ベースの説明可能なモデルを用いた模倣学習によるブラックボックスポリシの説明の限界を明らかにする。
関連論文リスト
- Causal State Distillation for Explainable Reinforcement Learning [17.85042700840492]
強化学習(Reinforcement Learning, RL)は、知的エージェントを訓練するための強力なテクニックであるが、これらのエージェントが特定の決定を下す理由を理解することは困難である。
この問題に対処するために様々なアプローチが検討され、ある有望な道は報酬分解(RD)である。
RDは、エージェントの振る舞いをポストホックな方法で合理化しようとする他の方法に関連する懸念のいくつかを傍受するので、魅力的である。
我々は、より情報的な説明を提供するために、サブリワードを超えてRDの拡張を示す。
論文 参考訳(メタデータ) (2023-12-30T00:01:22Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳(メタデータ) (2023-09-30T20:59:42Z) - Limits of Actor-Critic Algorithms for Decision Tree Policies Learning in
IBMDPs [9.587070290189507]
AIモデルの解釈可能性により、ユーザーの安全チェックがそのようなAIの信頼を構築することができる。
決定木(DT)は、学習したモデルをグローバルに見て、どの入力の特徴が決定に重要なのかを透過的に明らかにします。
近年の強化学習フレームワークは,深いRLを用いてDTの空間を探索するために提案されている。
論文 参考訳(メタデータ) (2023-09-23T13:06:20Z) - Interpretable and Explainable Logical Policies via Neurally Guided
Symbolic Abstraction [23.552659248243806]
ニューラルgUided Differentiable loGic policiEs (NUDGE)を紹介する。
NUDGEは、トレーニングされたニューラルネットワークベースのエージェントを使用して、候補重み付けされたロジックルールの探索をガイドし、差別化可能なロジックを使用してロジックエージェントをトレーニングする。
実験により, NUDGEエージェントは, 純粋に神経性に優れ, 初期状態や問題の大きさの異なる環境に対して良好な柔軟性を示しながら, 解釈可能かつ説明可能なポリシーを誘導できることを示した。
論文 参考訳(メタデータ) (2023-06-02T10:59:44Z) - Optimal Interpretability-Performance Trade-off of Classification Trees
with Black-Box Reinforcement Learning [0.0]
AIモデルの解釈可能性により、モデルの信頼性を構築するためのユーザ安全チェックが可能になる。
決定木(DT)は、学習したモデルに関するグローバルな見解を提供し、与えられたデータを分類するのに重要な機能の役割を明確に概説する。
コンパクトツリーを学習するために、最近DTの空間を探求する強化学習フレームワークが提案されている。
論文 参考訳(メタデータ) (2023-04-11T09:43:23Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳(メタデータ) (2022-11-25T04:40:47Z) - Disentangled Representation Learning [49.90680972116791]
Disentangled Representation Learning (DRL) は、観測可能なデータに隠された基礎的要因を表現形式で識別し、切り離すことができるモデルを学習することを目的としている。
我々は、モチベーション、定義、方法論、評価、アプリケーション、モデルデザインを含む様々な側面からDRLを包括的にレビューする。
論文 参考訳(メタデータ) (2022-11-21T18:14:38Z) - On Tackling Explanation Redundancy in Decision Trees [19.833126971063724]
決定木(DT)は機械学習(ML)モデルの解釈可能性の理想を表わしている。
本稿では, 決定木の解釈可能性と説明の簡潔さが等価である限り, 決定木を解釈可能とみなさざるを得ないことを示す理論的および実験的議論について述べる。
論文 参考訳(メタデータ) (2022-05-20T05:33:38Z) - Collective eXplainable AI: Explaining Cooperative Strategies and Agent
Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。
結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2021-10-04T10:28:57Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳(メタデータ) (2020-08-21T10:45:25Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳(メタデータ) (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。