論文の概要: ReShap: Interpretable Reinforcement Learning for High-Dimensional Multi-Action Settings
- arxiv url: http://arxiv.org/abs/2611.15507v1
- Date: Wed, 11 Nov 2026 14:02:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.161862
- Title: ReShap: Interpretable Reinforcement Learning for High-Dimensional Multi-Action Settings
- Title(参考訳): ReShap:高次元マルチアクション設定のための解釈可能な強化学習
- Abstract要約: ReShapは、Shapleyベースの解釈可能性を高次元のマルチアクション環境に拡張するポリシー蒸留フレームワークである。
3つの解釈可能なモデルファミリー(決定木、線形回帰、ロジスティック回帰)でサロゲートをインスタンス化し、それらの忠実度とタスクリターンを比較する。
その結果、ReShapは競合タスクのパフォーマンスを保ち、決定木は一般に線形回帰とロジスティック回帰を上回り、ほとんどの設定では線形回帰が最も弱いことを示している。
- 参考スコア(独自算出の注目度): 5.974957516556472
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Deep Reinforcement Learning (RL) plays a crucial role in tackling complex tasks, yet its reliance on deep neural networks makes the learned policies opaque. To enhance the trustworthiness of RL policies, existing work (e.g., the SILVER framework [Li et al., 2025]) has focused on Shapley-based interpretability, but is typically restricted to low-dimensional state spaces, binary-action settings, and a single class of linear surrogate. We propose ReShap, a policy-distillation framework that extends Shapley-based interpretability to high-dimensional, multi-action environments. ReShap extracts compact feature representations from raw image observations, performs SHAP-based feature attribution to characterize how each feature contributes to the policy's decisions, and distills the deep RL policy into an interpretable surrogate trained on the full set of (state, policy-action) pairs along the policy's visited distribution. We instantiate the surrogate with three interpretable model families (decision trees, linear regression, and logistic regression) and compare their fidelity and task return. We evaluate ReShap on Atari and Box2D environments using three deep RL algorithms and conduct a human-subject study to assess the clarity and trustworthiness of the resulting policies. Results show that ReShap preserves competitive task performance, that decision trees generally outperform linear and logistic regression, and that linear regression is weakest in most settings.
- Abstract(参考訳): 深層強化学習(Deep Reinforcement Learning, RL)は、複雑なタスクに取り組む上で重要な役割を果たすが、深層ニューラルネットワークへの依存は、学習方針を不透明にする。
RLポリシーの信頼性を高めるため、既存の作業(例えば、SILVERフレームワーク [Li et al , 2025])はシェープリーに基づく解釈性に焦点を当てているが、通常は低次元の状態空間、バイナリアクション設定、一種類の線形サロゲートに制限されている。
本稿では,Shapleyベースの解釈可能性を高次元マルチアクション環境に拡張するポリシ蒸留フレームワークReShapを提案する。
ReShapは、生画像からコンパクトな特徴表現を抽出し、SHAPベースの特徴属性を実行し、各特徴が政策の決定にどのように貢献するかを特徴付ける。
3つの解釈可能なモデルファミリー(決定木、線形回帰、ロジスティック回帰)でサロゲートをインスタンス化し、それらの忠実度とタスクリターンを比較する。
3つの深いRLアルゴリズムを用いて,AtariとBox2D環境上でのReShapを評価し,その結果の明確さと信頼性を評価する。
その結果、ReShapは競合タスクのパフォーマンスを保ち、決定木は一般に線形回帰とロジスティック回帰を上回り、ほとんどの設定では線形回帰が最も弱いことを示している。
関連論文リスト
- Provable Multi-Task Reinforcement Learning: A Representation Learning Framework with Low Rank Rewards [5.213778368155992]
マルチタスク表現学習(MTRL)は、関連するタスク間で共有潜在表現を学習する手法である。
本稿では,マルチタスク強化学習(RL)におけるMTRLについて検討する。
論文 参考訳(メタデータ) (2026-04-04T23:08:35Z) - Interpret Policies in Deep Reinforcement Learning using SILVER with RL-Guided Labeling: A Model-level Approach to High-dimensional and Multi-action Environments [3.905774454930983]
深層強化学習は優れた性能を発揮するが、解釈性に欠ける。
SILVERフレームワークは、Shapleyベースの回帰を通じてRLポリシーを説明するが、低次元のバイナリアクションドメインに限定されている。
本稿では,SILVERをマルチアクションおよび高次元環境に拡張した拡張型であるRL誘導ラベル付きSILVERを提案する。
論文 参考訳(メタデータ) (2025-10-22T05:04:43Z) - Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends [64.71326476563213]
大規模言語モデル(LLM)の非政治強化学習が注目されている。
本稿では,特定のトレーニングデータ分布を仮定することなく,グループ化型REINFORCEの第一原理導出について述べる。
この観点は、REINFORCEを非政治的な設定に適応するための2つの一般的な原則をもたらす。
論文 参考訳(メタデータ) (2025-09-29T02:34:54Z) - RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。
強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。
本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
論文 参考訳(メタデータ) (2025-04-24T17:57:08Z) - From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation [2.08099858257632]
本稿では,複雑な深いRLポリシーを透過的な表現に変換するためのモデルに依存しない新しいアプローチを提案する。
提案手法を既存の3つの深部RLアルゴリズムを用いて評価し,その性能を2つの古典的制御環境で検証した。
論文 参考訳(メタデータ) (2025-01-16T22:11:03Z) - REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。
理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。
我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文 参考訳(メタデータ) (2024-04-25T17:20:45Z) - ERL-Re$^2$: Efficient Evolutionary Reinforcement Learning with Shared
State Representation and Individual Policy Representation [31.9768280877473]
2次元状態表現と政策表現を用いた進化的強化学習(ERL-Re$2$)を提案する。
すべてのEAおよびRLポリシーは、個々の線形ポリシー表現を維持しながら、同じ非線形状態表現を共有している。
一連の連続制御タスクの実験では、ERL-Re$2$は、高度ベースラインを一貫して上回り、最先端アート(SOTA)を達成する。
論文 参考訳(メタデータ) (2022-10-26T10:34:48Z) - Policy Gradient for Reinforcement Learning with General Utilities [50.65940899590487]
強化学習(Reinforcement Learning, RL)では、エージェントの目標は、期待される累積報酬を最大化する最適なポリシーを見つけることである。
教師なしと教師なしのRL問題の多くは、LLフレームワークには含まれていない。
一般ユーティリティによるRLのポリシー勾配定理を導出する。
論文 参考訳(メタデータ) (2022-10-03T14:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。