論文の概要: CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

• arxiv url: http://arxiv.org/abs/2607.03177v1
• Date: Fri, 03 Jul 2026 10:29:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.544742
• Title: CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery
• Title（参考訳）: CRRL: 自律システム回復のための因果性に基づく強化学習フレームワーク
• Abstract要約: ルールベースのリカバリだけでは不十分であり、事前訓練されたPPOポリシーにリカバリを追加することで報酬が悪化する。 ルールベースのリカバリを効果的に行うようにポリシーを訓練する因果誘導型RLフレームワークを導入する。 因果訓練は報酬,距離,速度を著しく改善することがわかった。
• 参考スコア（独自算出の注目度）: 1.7842332554022695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional reinforcement learning (RL) for recovery in autonomous systems lacks causal understanding and generalizes poorly to novel failure scenarios. RL policies often stall in failure states, spending up to 70% of an episode immobilized. Rule-based recovery alone is inadequate, and adding heuristic recovery to a pretrained PPO policy worsens rewards because policies cannot coordinate well with unanticipated interventions. The issue is not missing recovery mechanisms but a lack of policies trained to collaborate with them. We introduce CRRL, a causal-guided RL framework that trains policies to work effectively with rule-based recovery. The recovery detects stalled states and assists the agent. Causal relations from driving logs shape the training signal, teaching the policy to anticipate stalls and adjust actions in recovery contexts. The framework follows MAPE-K, with sensor collection, causal model construction, and hybrid RL policy training corresponding to Monitor, Analyze, and Plan/Execute, respectively. We evaluate CRRL through a four-condition ablation study across three driving scenarios, with 20 episodes per condition. We find that causal training significantly improves reward, distance, and velocity. Moreover, 9 of 20 roundabout episodes required zero recovery intervention, confirming navigation competence. These results show that causal-guided training produces effective RL policies that cooperate with rule-based safety components.
• Abstract（参考訳）: 自律システムにおけるリカバリのための従来の強化学習(RL)には因果的理解が欠如しており、新たな障害シナリオへの一般化が不十分である。 RLポリシーは、しばしば障害状態において停止し、エピソードの最大70%が固定化される。 ルールベースのリカバリだけでは不十分であり、事前訓練されたPPOポリシーにヒューリスティックリカバリを追加すると、政策が予期しない介入とうまく協調できないため、報酬が悪化する。 問題は回復メカニズムの欠如ではなく、彼らと協力するために訓練されたポリシーの欠如である。 我々は、ルールベースのリカバリを効果的に行うようにポリシーを訓練する因果誘導型RLフレームワークであるCRRLを紹介する。 回復は停止状態を検出し、エージェントをアシストする。 運転ログからの因果関係は、トレーニング信号を形成し、ストールを予測し、回復コンテキストにおけるアクションを調整するためのポリシーを教える。 このフレームワークはMAPE-Kに従っており、センサー収集、因果モデルの構築、モニター、アナライズ、プラン/エクスキュートに対応するハイブリッドRLポリシートレーニングがある。 CRRLは3つの運転シナリオにまたがって4条件アブレーション試験を行い,20エピソードを条件として評価した。 因果訓練は報酬,距離,速度を著しく改善することがわかった。 さらに、20回中9回は、回復の介入が不要で、ナビゲーション能力の確認が必要であった。 これらの結果は、因果誘導訓練がルールベースの安全コンポーネントと協調する効果的なRLポリシーを生み出すことを示している。

関連論文リスト

• ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples [65.74946647574696]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力を大幅に向上させた。 本研究では,この不安定性の重要源である過最適化について検討する。 我々は,このパラダイムを受動的ペナルティからアクティブ標本安定化に移行するフレームワークARMORを提案する。
  論文  参考訳（メタデータ） (2026-07-11T21:22:46Z)
• SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions [17.763106379903228]
  物理ロボット上での強化学習エージェントの訓練は、転倒によってプラットフォームが損傷し、シミュレータのリセットのように解除できないため、すべての転倒をコストがかかる。 標準緩和ハンドコントロールは、設計者が指定した安全領域を離れるたびに、別の回復ポリシーに制御する。 我々は、近位政策最適化(PPO)のドロップイン修正により、このバイアスに対処する。 我々のアルゴリズムは、標準的なPPOよりも、HalfCheetah、Ant、Unitree Go1上の233x、48x、26xの要素でトレーニング時間の低下を減らす。
  論文  参考訳（メタデータ） (2026-07-09T20:41:45Z)
• FAR: Failure-Aware Retry for Test-Time Recovery and Continual Policy Improvement [10.94594187411586]
  フェール・アウェア・リトライ(FAR)は、ロボットがテスト時に以前の失敗から学び、その振る舞いを順応し、最終的にタスクを自律的に完了させることを可能にするフレームワークである。 FARは成功率とロバスト性を大幅に改善し、シミュレーションにおける標準拡散政策よりも平均17.6%、現実世界では11.7%向上した。
  論文  参考訳（メタデータ） (2026-07-01T16:01:54Z)
• The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning [65.72688364382331]
  強化学習(RL)は、大規模言語モデル(LLM)の訓練後に注目を集めているが、RLトレーニングは脆弱であり、不安定や崩壊に悩まされる可能性がある。 LLMは別個の推論とトレーニングエンジンを採用して、生成効率とトレーニング精度を高めている。 2段階のLLM RLフレームワークであるMonotonic Inference Policy Update (MIPU)を導入し、サンプル参照候補更新を構築し、同期候補を選択的に受け入れる。
  論文  参考訳（メタデータ） (2026-06-28T17:40:02Z)
• Learning Agentic Policy from Action Guidance [21.951262624996982]
  我々は,行動データを計画スタイルの参照ガイダンスとして注入するtextscActGuide-RLを提案する。 ガイド付きロールアウトとガイドなしロールアウトは、混合政治訓練によって共同で最適化される。 検索エージェントのベンチマークでは、textscActGuide-RLはゼロRLよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-05-12T11:54:23Z)
• Learning to Compress Time-to-Control: A Reinforcement Learning Framework for Chronic Disease Management [4.772536418776007]
  我々は、慢性疾患管理は、その分野が主に研究してきた急性期医療問題よりも、構造的によりトラクタブルなRL設定であると主張している。 高血圧症および2型糖尿病に対する人工状態機械のシミュレーション結果について報告する。
  論文  参考訳（メタデータ） (2026-05-10T23:43:39Z)
• Embedding Classical Balance Control Principles in Reinforcement Learning for Humanoid Recovery [1.0883174135300417]
  人間は転倒や回復不能な障害状態に対して脆弱であり、非構造化環境での実用性を制限する。 古典的バランス指標を埋め込むことにより、この制限に対処する統一的なRLポリシーを提案する。 このポリシーは、ランダム化された初期ポーズと記述されていないフォール設定で93.4%のリカバリ率を達成する。
  論文  参考訳（メタデータ） (2026-03-09T17:02:30Z)
• Can Agents Run Relay Race with Strangers? Generalization of RL to Out-of-Distribution Trajectories [88.08381083207449]
  異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。 本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T10:12:12Z)
• Policy Resilience to Environment Poisoning Attacks on Reinforcement Learning [15.949831252810704]
  本稿では、強化学習(RL)政策に対する訓練環境汚染攻撃に対する政策レジリエンスについて検討する。 本稿では,知識共有の考え方に基づく政策レジリエンス機構を提案する。
  論文  参考訳（メタデータ） (2023-04-24T15:01:55Z)
• Offline RL With Realistic Datasets: Heteroskedasticity and Support Constraints [82.43359506154117]
  非均一な変数を持つデータから、典型的なオフライン強化学習手法が学習できないことを示す。 提案手法は,Atariゲーム,ナビゲーション,ピクセルベースの操作において,多種多様なオフラインRL問題にまたがる性能向上を図っている。
  論文  参考訳（メタデータ） (2022-11-02T11:36:06Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)
• Recovery RL: Safe Reinforcement Learning with Learned Recovery Zones [81.49106778460238]
  リカバリRLは、オフラインデータを使用して、ポリシー学習の前に制約違反ゾーンについて学習する。 2つのコンタクトリッチな操作タスクと画像に基づくナビゲーションタスクを含む6つのシミュレーション領域におけるリカバリRLの評価を行った。 その結果,リカバリRLは制約違反やタスク成功を2～20倍,物理実験では3倍の効率で処理できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-29T20:10:02Z)
• Robust Deep Reinforcement Learning against Adversarial Perturbations on State Observations [88.94162416324505]
  深部強化学習(DRL)エージェントは、自然な測定誤差や対向雑音を含む観測を通して、その状態を観察する。 観測は真の状態から逸脱するので、エージェントを誤解させ、準最適行動を起こすことができる。 本研究は, 従来の手法を, 対人訓練などの分類タスクの堅牢性向上に応用することは, 多くのRLタスクには有効でないことを示す。
  論文  参考訳（メタデータ） (2020-03-19T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。