論文の概要: Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
- arxiv url: http://arxiv.org/abs/2503.08322v1
- Date: Tue, 11 Mar 2025 11:34:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:45:20.011416
- Title: Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
- Title（参考訳）: 政策をプログラムに含ませた解釈型強化学習の評価
- Authors: Hector Kohler, Quentin Delfosse, Waris Radji, Riad Akrour, Philippe Preux,
- Abstract要約: 我々は、人間がいない政策の解釈可能性を実証的に評価する問題に取り組む。
このような明確な定義の欠如にもかかわらず、研究者は「シミュラビリティ」の概念に同意している。
この新しい手法は、我々が政策解釈可能性の大規模な実証的な評価を行うために使用するシミュラビリティのプロキシに依存している。
- 参考スコア（独自算出の注目度）: 8.851129384632994
- License:
- Abstract: There exist applications of reinforcement learning like medicine where policies need to be ''interpretable'' by humans. User studies have shown that some policy classes might be more interpretable than others. However, it is costly to conduct human studies of policy interpretability. Furthermore, there is no clear definition of policy interpretabiliy, i.e., no clear metrics for interpretability and thus claims depend on the chosen definition. We tackle the problem of empirically evaluating policies interpretability without humans. Despite this lack of clear definition, researchers agree on the notions of ''simulatability'': policy interpretability should relate to how humans understand policy actions given states. To advance research in interpretable reinforcement learning, we contribute a new methodology to evaluate policy interpretability. This new methodology relies on proxies for simulatability that we use to conduct a large-scale empirical evaluation of policy interpretability. We use imitation learning to compute baseline policies by distilling expert neural networks into small programs. We then show that using our methodology to evaluate the baselines interpretability leads to similar conclusions as user studies. We show that increasing interpretability does not necessarily reduce performances and can sometimes increase them. We also show that there is no policy class that better trades off interpretability and performance across tasks making it necessary for researcher to have methodologies for comparing policies interpretability.
- Abstract（参考訳）: 人間による「解釈可能な」政策を必要とする医学のような強化学習の応用がある。
ユーザスタディでは、いくつかのポリシークラスが他のクラスよりも解釈可能であることが示されている。
しかし、政策解釈可能性に関する人間の研究を行うのは費用がかかる。
さらに、政策解釈の明確な定義はなく、すなわち、解釈可能性の明確な指標がなく、したがって選択された定義に依存している。
我々は、人間がいない政策の解釈可能性について実証的に評価する問題に取り組む。
このような明確な定義の欠如にもかかわらず、研究者は「シミュラビリティ」の概念に同意している。
分析可能な強化学習の研究を進めるために,政策の解釈可能性を評価するための新しい方法論を提案する。
この新しい方法論は、我々が政策解釈可能性の大規模な実証的な評価を行うために使用するシミュラビリティのプロキシに依存している。
我々は、シミュレーション学習を用いて、専門家のニューラルネットワークを小さなプログラムに蒸留することで、ベースラインポリシーを計算します。
そこで,本手法を用いてベースラインの解釈可能性を評価することにより,ユーザスタディと同様の結論が得られた。
解釈可能性の向上は必ずしも性能を低下させるものではなく、時には向上させる可能性があることを示す。
また、研究者が政策解釈可能性を比較する方法論を持つことを必要とするため、課題間での解釈可能性と性能のトレードオフを改善する政策クラスが存在しないことも示している。
関連論文リスト
- Efficient and Sharp Off-Policy Learning under Unobserved Confounding [25.068617118126824]
本研究では,未観測のコンファウンディングを伴うシナリオにおいて,個人化された非政治学習のための新しい手法を開発する。
本手法は,未観測のコンバウンディングが問題となるような意思決定に極めて有用である。
論文 参考訳（メタデータ） (2025-02-18T16:42:24Z) - Counterfactual Learning with General Data-generating Policies [3.441021278275805]
我々は、コンテキスト帯域設定における完全なサポートと不足したサポートロギングポリシーのクラスのためのOPE手法を開発した。
サンプルサイズが大きくなるにつれて,本手法の予測値が実測値の真の性能に収束することが証明された。
論文 参考訳（メタデータ） (2022-12-04T21:07:46Z) - Policy Regularization for Legible Behavior [0.0]
強化学習では、一般的に、エージェントのメカニズムに関する洞察を提供することを意味する。
本論文は,エージェントの正当性に着目した説明可能な計画文献手法から借用する。
我々の定式化において、正当性によって導入された決定境界は、エージェントのポリシーが他のポリシーでも高い可能性を持つアクションを返す州に影響を与える。
論文 参考訳（メタデータ） (2022-03-08T10:55:46Z) - Interpretable Off-Policy Learning via Hyperbox Search [20.83151214072516]
本稿では,ハイパーボックス検索による非政治学習の解釈アルゴリズムを提案する。
我々のポリシーは可解な正規形式(すなわち OR-of-ANDs)で表すことができ、したがって不可知である。
我々のアルゴリズムは、後悔の観点から、政治以外の学習を解釈することによる最先端の手法よりも優れていることを実証する。
論文 参考訳（メタデータ） (2022-03-04T18:10:24Z) - Evaluation of post-hoc interpretability methods in time-series classification [0.6249768559720122]
本稿では,既存のポストホック解釈可能性法の性能を評価するために,定量的な指標を用いたフレームワークを提案する。
文献で確認されたいくつかの欠点、すなわち、人間の判断、再訓練、サンプルを除外する際のデータ分布の変化に対処できることが示される。
提案手法と定量的なメトリクスを用いて,実践的な応用で得られた解釈可能性手法の信頼性を理解することができる。
論文 参考訳（メタデータ） (2022-02-11T14:55:56Z) - Sayer: Using Implicit Feedback to Optimize System Policies [63.992191765269396]
我々は、暗黙のフィードバックを活用して、新しいシステムポリシーを評価し、訓練する方法論を開発する。
Sayerは、強化学習の2つのアイデアに基づいて、既存のポリシーで収集されたデータを活用する。
Sayer氏は任意のポリシーを正確に評価し、生産ポリシーを上回るような新しいポリシーをトレーニングできることを示します。
論文 参考訳（メタデータ） (2021-10-28T04:16:56Z) - Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。
想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。
複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2021-07-01T15:30:59Z) - Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for
Post-Hoc Interpretability [54.85658598523915]
我々は,解釈の忠実性を評価する前に,解釈を明確に定義することを提案する。
解釈手法は,ある評価基準の下で異なる性能を示すが,その差は解釈の品質や忠実さから生じるものではない。
論文 参考訳（メタデータ） (2020-09-16T06:38:03Z) - Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic
Policies [80.42316902296832]
本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。
この設定では、密度比が存在しないため、標準重要度サンプリングとポリシー値と勾配の2倍の頑健な推定が失敗する。
異なるカーネル化アプローチに基づく2つの新しい頑健な推定器を提案する。
論文 参考訳（メタデータ） (2020-06-06T15:52:05Z) - Policy Evaluation Networks [50.53250641051648]
我々は,簡潔な埋め込みにおいて重要なポリシー情報を保持できる,スケーラブルで差別化可能なフィンガープリント機構を導入する。
実験の結果、これらの3つの要素を組み合わせることで、トレーニングデータを生成するものよりも優れたポリシーを作成できることが示された。
論文 参考訳（メタデータ） (2020-02-26T23:00:27Z) - Reward-Conditioned Policies [100.64167842905069]
模倣学習には、ほぼ最適の専門家データが必要である。
実演なしで指導的学習を通じて効果的な政策を学べるか?
政策探索の原則的手法として,このようなアプローチを導出する方法を示す。
論文 参考訳（メタデータ） (2019-12-31T18:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。