論文の概要: SPOTting the Future: Lookahead Explanations for Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.09967v1
• Date: Tue, 28 Jul 2026 07:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.570844
• Title: SPOTting the Future: Lookahead Explanations for Deep Reinforcement Learning
• Title（参考訳）: SPOTting the Future: Lookahead Explanations for Deep Reinforcement Learning
• Abstract要約: SPOT(Sampling Policy Observation Tree)は、DRLポリシーを解釈するためのモデルに依存しないサンプリングベースのフレームワークである。 本研究では,SPOTが解析可能な有限水平木をどのように構成するかを示す。 この研究は、ツリーベースの表現が、政策の嗜好を検査し、代替の軌跡を比較し、単一ステップの特徴属性法で見えない下流行動を明らかにするためにどのように使用できるかを説明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning (DRL) agents achieve strong performance in complex environments, yet their decision-making processes remain difficult to interpret. We introduce SPOT (Sampling Policy Observation Tree), a novel model-agnostic, sampling-based framework for interpreting DRL policies. Given access to the policy and an environment simulator, SPOT constructs an interpretable finite-horizon tree by sampling actions and recursively simulating the resulting successor states. The tree provides an empirical representation of the policy's action preferences and their possible downstream evolution. We provide formal guarantees establishing SPOT's asymptotic recovery of the policy's unique most probable action and characterizing its disagreement behavior under high-entropy policies. We demonstrate SPOT in the SUMO-RL traffic-signal control domain. The case study illustrates how its tree-based representation can be used to inspect policy preferences, compare alternative future trajectories, and reveal downstream behaviors that are not visible through single-timestep feature-attribution methods.
• Abstract（参考訳）: 深層強化学習(DRL)エージェントは複雑な環境で高い性能を発揮するが、その意思決定プロセスは解釈が難しいままである。 DRLポリシーを解釈するための新しいモデルに依存しないサンプリングベースのフレームワークであるSPOT(Sampling Policy Observation Tree)を紹介する。 ポリシーと環境シミュレータへのアクセスを前提として、SPOTは解釈可能な有限水平木を構築し、アクションをサンプリングし、結果として生じる後続状態を再帰的にシミュレートする。 このツリーは、ポリシーの行動選好と、その下流の進化の可能性に関する実証的な表現を提供する。 我々は,SPOTの漸近的回復の確立と,その不一致行為を高エントロピー政策下で特徴づける公式な保証を提供する。 我々はSUMO-RLトラフィック信号制御領域でSPOTを実証する。 ケーススタディでは、そのツリーベースの表現が、政策の嗜好を検査し、代替の軌跡を比較し、単一ステップの特徴属性法で見えない下流の挙動を明らかにするためにどのように使用できるかを示す。

関連論文リスト

• SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning [38.54413500261524]
  アウトカムベース強化学習(RL)は、実用的な最適化パラダイムを提供するが、その疎度な軌道レベルの報酬は、中間決定に関する限られたガイダンスを提供する。 筆者らは,自己進化型フレームワークSEED(Self-Evolving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-07-16T09:57:18Z)
• Learning Policy Representations for Steerable Behavior Synthesis [80.4542176039074]
  マルコフ決定プロセス(MDP)を前提として,テスト時の行動ステアリングを促進するために,さまざまなポリシーの表現を学習する。 これらの表現は、セットベースアーキテクチャを用いて、様々なポリシーに対して均一に近似できることを示す。 変動生成法を用いてスムーズな潜伏空間を導出し,さらにコントラスト学習により、潜伏距離が値関数の差と一致するように形成する。
  論文  参考訳（メタデータ） (2026-01-29T21:52:06Z)
• Interpret Policies in Deep Reinforcement Learning using SILVER with RL-Guided Labeling: A Model-level Approach to High-dimensional and Multi-action Environments [3.905774454930983]
  深層強化学習は優れた性能を発揮するが、解釈性に欠ける。 SILVERフレームワークは、Shapleyベースの回帰を通じてRLポリシーを説明するが、低次元のバイナリアクションドメインに限定されている。 本稿では,SILVERをマルチアクションおよび高次元環境に拡張した拡張型であるRL誘導ラベル付きSILVERを提案する。
  論文  参考訳（メタデータ） (2025-10-22T05:04:43Z)
• Pragmatic Policy Development via Interpretable Behavior Cloning [6.177449809243359]
  本稿では,患者の行動方針の解釈可能なモデルを用いて,各患者の状態において最も頻繁に選択される行動から治療方針を導出する。 このフレームワークによって導かれるポリシーは,オフラインのRLで得られるものに対して,解釈可能な代替手段を提供することで,現在の実践を上回り得ることを実証する。
  論文  参考訳（メタデータ） (2025-07-22T22:34:35Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Policy Gradient Methods in the Presence of Symmetries and State Abstractions [46.66541516203923]
  高次元および複雑な問題に対する強化学習(RL)は、効率と一般化を改善するための抽象化に依存している。 連続制御設定における抽象化を研究し、マルコフ決定過程(MDP)の準同型の定義を連続状態と作用空間の設定に拡張する。 本稿では,政策とMDP準同型写像を同時に学習できるアクター批判アルゴリズムのファミリーを提案する。
  論文  参考訳（メタデータ） (2023-05-09T17:59:10Z)
• Hallucinated Adversarial Control for Conservative Offline Policy Evaluation [64.94009515033984]
  本研究では,環境相互作用のオフラインデータセットが与えられた場合,政策のパフォーマンスを低く抑えることを目的とした,保守的非政治評価(COPE)の課題について検討する。 本稿では,遷移力学の不確実性を考慮した学習モデルに基づくHAMBOを紹介する。 結果のCOPE推定値が妥当な下界であることを証明し、正則性条件下では、真に期待された戻り値への収束を示す。
  論文  参考訳（メタデータ） (2023-03-02T08:57:35Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• Provably Good Batch Reinforcement Learning Without Great Exploration [51.51462608429621]
  バッチ強化学習(RL)は、RLアルゴリズムを多くの高利得タスクに適用するために重要である。 最近のアルゴリズムは将来性を示しているが、期待された結果に対して過度に楽観的である。 より保守的な更新を行うため、ベルマンの最適性と評価のバックアップに小さな修正を加えることで、はるかに強力な保証が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-16T09:25:54Z)
• Continuous Action Reinforcement Learning from a Mixture of Interpretable Experts [35.80418547105711]
  本稿では,複雑な関数近似を内部値予測に保持するポリシスキームを提案する。 この論文の主な技術的貢献は、この非微分不可能な状態選択手順によってもたらされた課題に対処することである。
  論文  参考訳（メタデータ） (2020-06-10T16:02:08Z)
• Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video [128.08590291947544]
  非トリミングビデオにおける一時的言語接地は、ビデオ理解における新たな課題である。 ヒトの粗大な意思決定パラダイムにインスパイアされた我々は、新しい木構造政策に基づくプログレッシブ強化学習フレームワークを定式化した。
  論文  参考訳（メタデータ） (2020-01-18T15:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。