論文の概要: Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields

• arxiv url: http://arxiv.org/abs/2610.20255v1
• Date: Wed, 14 Oct 2026 14:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.202084
• Title: Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields
• Title（参考訳）: Receding-Horizon Safety Critic and Differentiable Action Shields を用いた安全強化学習
• Abstract要約: 我々は、次の後退する地平線で国家が無期限に終了するかどうかを予測する、後退する水平安全批判を学ぶ。 我々は、予測された安全性を改善するためにポリシーアクションを最小限に調整する、CBFスタイルの識別可能な安全フィルタを導出する。 擬似四足歩行では, 動作騒音, 外部摂動, 地形変化によるロバスト性の向上が期待できる。
• 参考スコア（独自算出の注目度）: 15.851015588609501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the Markov assumption, safety failures in robot reinforcement learning rarely occur instantaneously; they typically emerge over several steps as the policy enters unfamiliar states under disturbances and domain shift. We address this limitation by learning a receding-horizon safety critic that predicts whether a state will remain non-terminating over the next receding horizon, enabling anticipatory detection of impending locomotion failures. The critic is trained from rollout-derived horizon labels with a composite objective that combines horizon classification, control-barrier-function-inspired temporal consistency, and smoothness regularization, and we aggregate an ensemble of critics with a conservative Conditional Value at Risk estimate to account for uncertainty. Building on the learned critic, we derive a closed-form, differentiable CBF-style safety filter that minimally modifies the policy action to improve predicted safety, and integrate it into PPO with an anticipation loss to reduce policy-filter mismatch during training. In simulated quadruped locomotion, our method improves robustness under action noise, external perturbations, and terrain shifts, reducing catastrophic failures while maintaining competitive returns.
• Abstract（参考訳）: マルコフの仮定にも拘わらず、ロボット強化学習における安全性の障害は瞬時に発生することは稀であり、このポリシーが乱れやドメインシフトの下で不慣れな状態に入ると、いくつかのステップで現れるのが普通である。 この制限は、次の後退地平線上で状態が非終端のまま残るかどうかを予測し、差し迫った移動障害の予測検出を可能にする、後退地平線安全評論家の学習によって解決される。 著者らは, 水平線分類, 制御バリア機能にインスパイアされた時間的整合性, 滑らかさの整合性, および不確実性を考慮し, リスク推定における保守的条件値を用いて, 評論家の集合を集約する複合目標を用いて, ロールアウト型水平線ラベルから訓練した。 学習した批判に基づいて、予測された安全性を改善するためにポリシーアクションを最小限に調整し、予測損失でPPOに統合し、トレーニング中のポリシー-フィルタミスマッチを低減する、クローズドなCBFスタイルの安全フィルタを導出する。 擬似四足歩行では, 動作騒音, 外部摂動, 地形変化下での頑健さを向上し, 競争的リターンを維持しながら破滅的な失敗を軽減できる。

関連論文リスト

• SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration [11.82335528833642]
  安全探索は、安全クリティカルドメインに強化学習(RL)エージェントを配備するための前提条件である。 本稿では、摂動パラメータの勾配を評価するシャープネス対応ポリシー更新ルールであるシャープネス対応ポリシー最適化(SHAPO)を提案する。 この調整は政策の勾配を暗黙的に反映し、安全でない行為の影響を増大させつつ、既に安全である行為からの貢献を誘惑することを示す。
  論文  参考訳（メタデータ） (2026-06-08T22:40:45Z)
• Trust, Geometry, and Rules: A Credibility-Aware Reinforcement Learning Framework for Safe USV Navigation under Uncertainty [32.34854002457735]
  本稿では,信頼性を意識した学習,幾何的安全遮蔽,連続ルール認識の埋め込みを組み込んだフレームワークを提案する。 本研究は,直観的不整合に対するトレーニングの堅牢性の向上と衝突回避性の向上,およびベースラインに対するCOLREGのコンプライアンスについて述べる。
  論文  参考訳（メタデータ） (2026-05-26T12:59:43Z)
• Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
  部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。 安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-14T01:23:09Z)
• Anchoring Refusal Direction: Mitigating Safety Risks in Tuning via Projection Constraint [52.878820730054365]
  インストラクションファインチューニング(IFT)は,大規模言語モデル(LLM)の能力向上のための効果的なポストトレーニング戦略として広く採用されている。 LLMの内部機構に関する最近の研究は、隠蔽状態における拒絶方向(r方向)を同定し、拒絶行動の制御において重要な役割を担っている。 このようなドリフトを緩和するため,提案手法では,各トレーニングサンプルの隠れ状態のr方向への投射の大きさを規則化する投射制約損失項を導入する。
  論文  参考訳（メタデータ） (2025-09-08T15:24:33Z)
• Preliminary Investigation into Uncertainty-Aware Attack Stage Classification [81.28215542218724]
  この研究は、不確実性の下での攻撃段階推論の問題に対処する。 Evidential Deep Learning (EDL) に基づく分類手法を提案し、ディリクレ分布のパラメータを可能な段階に出力することで予測の不確実性をモデル化する。 シミュレーション環境における予備実験により,提案モデルが精度良く攻撃の段階を推定できることが実証された。
  論文  参考訳（メタデータ） (2025-08-01T06:58:00Z)
• Curriculum-Guided Antifragile Reinforcement Learning for Secure UAV Deconfliction under Observation-Space Attacks [6.367978467906828]
  強化学習政策は、観測空間における敵の攻撃に対して脆弱である。 本稿では,段階的対向摂動のカリキュラムに適応するために設計された反フレジブルなRLフレームワークを提案する。 その結果, 反フランジ政策は標準およびロバストなRLベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-06-26T10:10:41Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Conservative Safety Critics for Exploration [120.73241848565449]
  強化学習(RL)における安全な探索の課題について検討する。 我々は、批評家を通じて環境状態の保守的な安全性推定を学習する。 提案手法は,破滅的故障率を著しく低く抑えながら,競争力のあるタスク性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-27T17:54:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。