論文の概要: CDT: Cascading Decision Trees for Explainable Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2011.07553v2
- Date: Tue, 30 Mar 2021 10:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 07:31:17.940366
- Title: CDT: Cascading Decision Trees for Explainable Reinforcement Learning
- Title（参考訳）: CDT:説明可能な強化学習のためのカスケード決定木
- Authors: Zihan Ding, Pablo Hernandez-Leal, Gavin Weiguang Ding, Changjian Li,
Ruitong Huang
- Abstract要約: カスケーディング決定木(CDT)は、より豊かな表現性を実現するために、決定経路に表現学習を適用する。
第2のコントリビューションとして、本研究では、木に基づく説明可能なモデルによる模倣学習によるブラックボックスポリシーの説明の限界を明らかにした。
- 参考スコア（独自算出の注目度）: 19.363238773001537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Reinforcement Learning (DRL) has recently achieved significant advances
in various domains. However, explaining the policy of RL agents still remains
an open problem due to several factors, one being the complexity of explaining
neural networks decisions. Recently, a group of works have used
decision-tree-based models to learn explainable policies. Soft decision trees
(SDTs) and discretized differentiable decision trees (DDTs) have been
demonstrated to achieve both good performance and share the benefit of having
explainable policies. In this work, we further improve the results for
tree-based explainable RL in both performance and explainability. Our proposal,
Cascading Decision Trees (CDTs) apply representation learning on the decision
path to allow richer expressivity. Empirical results show that in both
situations, where CDTs are used as policy function approximators or as
imitation learners to explain black-box policies, CDTs can achieve better
performances with more succinct and explainable models than SDTs. As a second
contribution our study reveals limitations of explaining black-box policies via
imitation learning with tree-based explainable models, due to its inherent
instability.
- Abstract（参考訳）: 深層強化学習(DRL)は近年,様々な分野で大きな進歩を遂げている。
しかしながら、RLエージェントのポリシーを説明することは、ニューラルネットワークの決定を説明するのが複雑である、いくつかの要因があるため、依然としてオープンな問題である。
最近、ある研究グループが決定木に基づくモデルを使って説明可能なポリシーを学習している。
soft decision tree (sdts) と discretized differentiable decision tree (ddts) は、優れたパフォーマンスを達成し、説明可能なポリシーを持つことの利点を共有している。
本研究では,木に基づく説明可能なRLの性能と説明可能性の両面でさらに改善する。
提案するcascading decision tree (cdts) は,より豊かな表現性を実現するために,決定経路に表現学習を適用する。
実験結果から,CDTをポリシ関数近似器として,あるいはブラックボックスポリシーを説明する模擬学習者として使用する場合,CDTはSDTよりも簡潔で説明可能なモデルで,より優れたパフォーマンスを実現することができることがわかった。
第2の貢献として,本研究は,木ベースの説明可能なモデルを用いた模倣学習によるブラックボックスポリシの説明の限界を明らかにする。
関連論文リスト
- Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。
ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。
提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
論文 参考訳（メタデータ） (2024-08-25T16:43:47Z) - Optimizing Interpretable Decision Tree Policies for Reinforcement Learning [10.68128849363198]
決定木は、その固有の解釈可能性について教師あり学習において注目を集めている。
本稿では、強化学習環境におけるニューラルネットワークを置き換えるために、解釈可能な決定木ポリシーを最適化する問題を考察する。
論文 参考訳（メタデータ） (2024-08-21T14:04:00Z) - Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling [3.890533943135602]
本稿では,DRLスケジューリングの解釈可能性の問題に対処するIRL(Interpretable Reinforcement Learning)というフレームワークを提案する。
ILRは、ブラックボックスのDNNポリシーを、同等のスケジューリング性能を維持しつつ、解釈可能なルールベースの決定ツリーに変換することができる。
論文 参考訳（メタデータ） (2024-03-24T20:56:16Z) - Distilling Reinforcement Learning Policies for Interpretable Robot Locomotion: Gradient Boosting Machines and Symbolic Regression [53.33734159983431]
本稿では, ニューラルRLポリシをより解釈可能な形式に蒸留する新しい手法を提案する。
我々は、RLを用いて専門家のニューラルネットワークポリシーを訓練し、(i)GBM、(ii)EBM、(iii)シンボリックポリシーに蒸留する。
論文 参考訳（メタデータ） (2024-03-21T11:54:45Z) - Solving Offline Reinforcement Learning with Decision Tree Regression [0.0]
本研究は, オフライン強化学習問題に対して, 回帰タスクとして再検討することで, 新たなアプローチを提案する。
我々は、リターン条件付きとリターン重み付き決定ツリーポリシーの2つの異なるフレームワークを紹介します。
オフラインRLに対するこの改定されたアプローチに固有の単純化にもかかわらず、我々のエージェントは、少なくとも確立された手法と同等の性能を示す。
論文 参考訳（メタデータ） (2024-01-21T23:50:46Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2023-09-30T20:59:42Z) - Limits of Actor-Critic Algorithms for Decision Tree Policies Learning in
IBMDPs [9.587070290189507]
AIモデルの解釈可能性により、ユーザーの安全チェックがそのようなAIの信頼を構築することができる。
決定木(DT)は、学習したモデルをグローバルに見て、どの入力の特徴が決定に重要なのかを透過的に明らかにします。
近年の強化学習フレームワークは,深いRLを用いてDTの空間を探索するために提案されている。
論文 参考訳（メタデータ） (2023-09-23T13:06:20Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳（メタデータ） (2022-11-25T04:40:47Z) - On Tackling Explanation Redundancy in Decision Trees [19.833126971063724]
決定木(DT)は機械学習(ML)モデルの解釈可能性の理想を表わしている。
本稿では, 決定木の解釈可能性と説明の簡潔さが等価である限り, 決定木を解釈可能とみなさざるを得ないことを示す理論的および実験的議論について述べる。
論文 参考訳（メタデータ） (2022-05-20T05:33:38Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳（メタデータ） (2020-08-21T10:45:25Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。