論文の概要: From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation

• arxiv url: http://arxiv.org/abs/2501.09858v1
• Date: Thu, 16 Jan 2025 22:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:12.410447
• Title: From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
• Title（参考訳）: 説明可能性から解釈可能性へ:モデル記述による強化学習における解釈可能性
• Authors: Peilang Li, Umer Siddique, Yongcan Cao,
• Abstract要約: 本稿では,複雑な深いRLポリシーを透過的な表現に変換するためのモデルに依存しない新しいアプローチを提案する。 提案手法を既存の3つの深部RLアルゴリズムを用いて評価し,その性能を2つの古典的制御環境で検証した。
• 参考スコア（独自算出の注目度）: 2.08099858257632
• License:
• Abstract: Deep reinforcement learning (RL) has shown remarkable success in complex domains, however, the inherent black box nature of deep neural network policies raises significant challenges in understanding and trusting the decision-making processes. While existing explainable RL methods provide local insights, they fail to deliver a global understanding of the model, particularly in high-stakes applications. To overcome this limitation, we propose a novel model-agnostic approach that bridges the gap between explainability and interpretability by leveraging Shapley values to transform complex deep RL policies into transparent representations. The proposed approach offers two key contributions: a novel approach employing Shapley values to policy interpretation beyond local explanations and a general framework applicable to off-policy and on-policy algorithms. We evaluate our approach with three existing deep RL algorithms and validate its performance in two classic control environments. The results demonstrate that our approach not only preserves the original models' performance but also generates more stable interpretable policies.
• Abstract（参考訳）: 深層強化学習(Deep reinforcement learning, RL)は複雑なドメインにおいて顕著な成功を収めているが、深層ニューラルネットワークポリシーの固有のブラックボックスの性質は、意思決定プロセスの理解と信頼性において大きな課題を引き起こす。 既存の説明可能なRLメソッドは、局所的な洞察を提供するが、特に高度なアプリケーションにおいて、モデルをグローバルに理解することができない。 この制限を克服するために,Shapley値を利用して複雑な深いRLポリシーを透過的な表現に変換することによって,説明可能性と解釈可能性の間のギャップを埋める,モデルに依存しない新しいアプローチを提案する。 提案手法は2つの重要なコントリビューションを提供する: 局所的な説明以上の政策解釈にShapley値を用いる新しいアプローチと、オフ・ポリティクスとオン・ポリティクス・アルゴリズムに適用可能な一般的なフレームワーク。 提案手法を既存の3つの深部RLアルゴリズムを用いて評価し,その性能を2つの古典的制御環境で検証した。 その結果,本手法はオリジナルのモデルの性能を維持できるだけでなく,より安定した解釈可能なポリシーを生成することがわかった。

関連論文リスト

• SAMBO-RL: Shifts-aware Model-based Offline Reinforcement Learning [9.88109749688605]
  モデルベースのオフライン強化学習は、オフラインデータセットとモデルダイナミクスに基づいたポリシーを訓練する。 本稿では,その問題をモデルバイアスとポリシーシフトという2つの重要な要素に分解する。 シフト対応モデルに基づくオフライン強化学習(SAMBO-RL)を紹介する。
  論文  参考訳（メタデータ） (2024-08-23T04:25:09Z)
• Counterfactual Explanation Policies in RL [3.674863913115432]
  COUNTERPOLは、反実的説明を用いて強化学習ポリシーを分析する最初のフレームワークである。 RLにおけるCounterpolと広く利用されている信頼領域ベースのポリシー最適化手法の理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-07-25T01:14:56Z)
• Policy Representation via Diffusion Probability Model for Reinforcement Learning [67.56363353547775]
  拡散確率モデルを用いて政策表現の理論的基礎を構築する。 本稿では,拡散政策の多様性を理解するための理論を提供する,拡散政策の収束保証について述べる。 本研究では,Diffusion POlicyを用いたモデルフリーオンラインRLの実装であるDIPOを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:23:41Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Policy Distillation with Selective Input Gradient Regularization for Efficient Interpretability [6.037276428689637]
  サージェンシマップはディープニューラルネットワークの解釈可能性を提供するために頻繁に使用される。 既存のサリエンシマップアプローチは計算コストがかかるか、現実のシナリオのリアルタイム要件を満たすことができない。 本稿では, 政策蒸留と入力勾配正規化を併用した選択的な入力勾配正規化(DIGR)による蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-05-18T01:47:16Z)
• Model-Based Offline Meta-Reinforcement Learning with Regularization [63.35040401948943]
  オフラインのMeta-RLは、これらの課題に対処するための有望なアプローチとして現れています。 MerPOは、効率的なタスク構造推論と情報的メタ政治のためのメタモデルを学ぶ。 我々は,MerPOが行動政策とメタ政治の両方に対して,保証された改善を提供することを示す。
  論文  参考訳（メタデータ） (2022-02-07T04:15:20Z)
• Verified Probabilistic Policies for Deep Reinforcement Learning [6.85316573653194]
  我々は、深い強化学習のための確率的政策を検証する問題に取り組む。 本稿では,マルコフ決定プロセスの間隔に基づく抽象的アプローチを提案する。 本稿では,抽象的解釈,混合整数線形プログラミング,エントロピーに基づく洗練,確率的モデルチェックを用いて,これらのモデルを構築・解決する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-10T23:55:04Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Continuous Action Reinforcement Learning from a Mixture of Interpretable Experts [35.80418547105711]
  本稿では,複雑な関数近似を内部値予測に保持するポリシスキームを提案する。 この論文の主な技術的貢献は、この非微分不可能な状態選択手順によってもたらされた課題に対処することである。
  論文  参考訳（メタデータ） (2020-06-10T16:02:08Z)
• Deep Reinforcement Learning with Robust and Smooth Policy [90.78795857181727]
  我々は、国家に対して円滑に振る舞う円滑な政策を学ぶことを提案する。 textbfSmooth textbfRegularized textbfReinforcement textbfLearning(textbfSR2textbfL$)という新しいフレームワークを開発し、スムーズな正規化によってポリシーを訓練する。 このような正規化は、探索空間を効果的に制限し、学習ポリシーの滑らかさを強制する。
  論文  参考訳（メタデータ） (2020-03-21T00:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。