論文の概要: Explainable Reinforcement Learning via Physics-Aware Policy Distillation

• arxiv url: http://arxiv.org/abs/2607.24672v1
• Date: Mon, 27 Jul 2026 17:14:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.519555
• Title: Explainable Reinforcement Learning via Physics-Aware Policy Distillation
• Title（参考訳）: 物理対応政策蒸留による説明可能な強化学習
• Abstract要約: ロボット工学や自動車工学のような安全クリティカルな分野では、深層ニューラルネットワークのブラックボックスの性質によって、DRL(Deep Reinforcement Learning)の展開が妨げられていることが多い。 本稿では,高性能連続制御DRLシステムの実現を目的とした実験的検討を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In safety-critical sectors such as robotics and automotive engineering, the deployment of Deep Reinforcement Learning (DRL) is often hindered by the black-box nature of deep neural networks. This lack of transparency poses significant challenges for regulatory compliance and human-agent trust. This paper presents an experimental study aimed at making high-performance continuous control DRL systems interpretable. A policy distillation framework is implemented using the classic Inverted Pendulum benchmark. A high-performance Twin Delayed DDPG (TD3) agent serves as an opaque, continuous teacher model, whose policy is distilled into an interpretable student surrogate based on a shallow Decision Tree. By leveraging a custom physics-aware feature and "Noisy Oracle Rollouts" for dataset generation, the distillation process achieves performance equivalent to the expert teacher. Furthermore, comparative control theory analysis reveals a fundamental trade-off: transitioning from continuous to discrete rule-based control induces high-frequency Bang-Bang actuation and a stable bimodal limit cycle. Simulation results indicate that Bounded-Input Bounded-Output (BIBO) stability is maintained while providing both global and local interpretability for safe autonomous systems.
• Abstract（参考訳）: ロボット工学や自動車工学のような安全クリティカルな分野では、深層ニューラルネットワークのブラックボックスの性質によって、DRL(Deep Reinforcement Learning)の展開が妨げられていることが多い。 この透明性の欠如は、規制コンプライアンスとヒューマンエージェント信頼に重大な課題をもたらす。 本稿では,高性能連続制御DRLシステムの実現を目的とした実験的検討を行った。 古典的倒立振り子ベンチマークを用いて, 政策蒸留フレームワークを実装した。 高性能なTwin Delayed DDPG (TD3) エージェントが不透明で連続的な教師モデルとして機能し、そのポリシーは浅い決定木に基づいて解釈可能な学生代理に蒸留される。 独自の物理認識機能と“ノイズの多いOracle Rollouts”をデータセット生成に活用することにより、蒸留プロセスは専門家の教師に匹敵するパフォーマンスを達成する。 さらに、比較制御理論解析は、連続的な規則に基づく制御から離散的な制御への遷移は、高周波バンバン・バン・アクティベーションと安定なバイモーダル極限サイクルを誘導する、基本的なトレードオフを明らかにしている。 シミュレーションの結果,安全な自律システムにグローバルおよびローカルの解釈可能性を提供しながら,境界入力境界出力(BIBO)の安定性が維持されていることが示唆された。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Understanding and Stabilizing Deep Q-Learning via Controlled Bootstrapping and Regulated Value Dynamics [2.358468106592515]
  本稿では,3つの相補的な視点から,深層Q-ラーニングにおける不安定性の系統的解析を行う。 報奨型自己強化トラップと特性パラメータスパイクダイナミクスを同定する。 Atari-100KとProcgenの実験では、競争性能が向上し、トレーニング安定性が向上した。
  論文  参考訳（メタデータ） (2026-08-17T06:55:41Z)
• Unified Planning-Learning Framework for Robust UUV Navigation Under Partial Observability [1.8047694351309207]
  本稿では,無人水中車両(UUV)の動的水中環境におけるナビゲーションのための,観測のみの自律的枠組みを提案する。 提案したパイプラインは、オンボードソナーと深度画像観測のみから占有マップを構築する。 このフレームワークは、永続的占有マッピング、グローバルクリアランス対応計画、リスク対応ローカルコントロールを統合している。
  論文  参考訳（メタデータ） (2026-08-05T19:37:22Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation [14.33516456804297]
  On-Policy VLA Distillation (VLA-OPD)は、オンライン強化学習(RL)の効率をオフライン監視ファインチューニング(SFT)の堅牢性でブリッジするフレームワークである。
  論文  参考訳（メタデータ） (2026-03-27T17:59:33Z)
• Adaptive recurrent flow map operator learning for reaction diffusion dynamics [0.9137554315375919]
  我々は,適応的反復学習(DDOL-ART)を軽量な検証マイルストーンを持つ頑健な再帰戦略を用いて行う演算子学習器を開発した。 DDOL-ARTは長いロールアウトで安定なワンステップ演算子を学び、ゼロショットを強いシフトに一般化する。 物理ベースの数値損失演算子学習器(NLOL)よりも、マッチした設定で数倍高速である。
  論文  参考訳（メタデータ） (2026-02-10T07:33:13Z)
• COVLM-RL: Critical Object-Oriented Reasoning for Autonomous Driving Using VLM-Guided Reinforcement Learning [55.83415345423854]
  批判的オブジェクト指向(CO)推論と強化学習(RL)を統合した新しいエンドツーエンド駆動フレームワークCOVLM-RLを提案する。 CARLAシミュレータで行った実験により、COVLM-RLはトレーニング運転環境における成功率を30%向上することが示された。
  論文  参考訳（メタデータ） (2025-12-10T06:18:16Z)
• Reinforcement Learning for Self-Healing Material Systems [0.40334315349753025]
  本研究は、マルコフ決定プロセス(MDP)における強化学習問題として自己修復過程を考察し、エージェントが最適なポリシーを自律的に導出できるようにする。 シミュレーション環境下での離散作用(Q-learning, DQN)と連続作用(TD3)の比較評価により, RLコントローラはベースラインを著しく上回り, ほぼ完全な材料回収を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-11-24T03:42:00Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Control Synthesis of Cyber-Physical Systems for Real-Time Specifications through Causation-Guided Reinforcement Learning [3.608670495432032]
  信号時相論理(STL)は、リアルタイム制約を表現する強力な形式主義として登場した。 強化学習(RL)は未知環境における制御合成問題の解法として重要である。 本稿では,STLのオンライン因果監視によって導かれるオンライン報酬生成手法を提案する。
  論文  参考訳（メタデータ） (2025-10-09T02:49:28Z)
• On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting [91.38734024438357]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の能力の強化と振る舞いの整合化のための訓練後パラダイムである。 SFTとRLを統合する既存のアプローチは、確立された応答パターンを乱し、専門家データに過度に適合するリスクに直面することが多い。 動的重み付けによるオン・アンド・オフ・ポリティクス強化学習の制御可能な調和のためのフレームワークであるCHORDを提案する。
  論文  参考訳（メタデータ） (2025-08-15T11:20:03Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。