論文の概要: SAFTER: Safety-Aware Filtering Through Explicit Recoverability for Robust Reinforcement Learning under Distribution Shift
- arxiv url: http://arxiv.org/abs/2610.29149v1
- Date: Wed, 21 Oct 2026 03:33:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.19229
- Title: SAFTER: Safety-Aware Filtering Through Explicit Recoverability for Robust Reinforcement Learning under Distribution Shift
- Title（参考訳）: SAFTER:分散シフト下でのロバスト強化学習のための明示的回復性による安全性を考慮したフィルタリング
- Abstract要約: SAFTERは、Soft Actor-Criticトレーニングに微分可能でクローズドなバックアップ-CBFフィルタを組み込む。
四足歩行では、SAFTERはバニラSACよりも30.6%少ない遷移で90%の訓練成功を達成した。
模擬環境全体では、SAFTERはCBF-RLとSEA-Navの42.4と61.4の精度で成功している。
- 参考スコア（独自算出の注目度）: 3.6340387363934865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning safe policies that generalize to unseen environments is difficult under bounded actuation, where an unsafe decision may become unrecoverable. Conventional control barrier function (CBF) filters enforce only instantaneous safety and ignore future recoverability. We propose SAFTER (Safety-Aware Filtering Through Explicit Recoverability), which embeds a differentiable, closed-form backup-CBF filter into Soft Actor-Critic training. SAFTER unifies current safety, finite-horizon backup safety, terminal recoverability, and input admissibility into a single differentiable certificate. Its CBF condition yields an exact minimum-intervention projection without iterative online optimization. In quadruped navigation, SAFTER reaches 90% training success with 30.6% fewer transitions than Vanilla SAC and 34.1-35.1% fewer than current-state CBF-filtered SAC baselines. Across unseen simulated environments, SAFTER improves success by up to 42.4 and 61.4 percentage points over the state-of-the-art methods CBF-RL and SEA-Nav, respectively, and achieves 73.3% and 76.7% success on two real-world navigation maps. Ablations identify accurate differentiation through the safety filter as a key contributor to robustness, in which replacing the projection Jacobian with the identity approximation reduces success rate in a High-Shift environment from 61.4% to 6.2%. These results show that recoverability-aware filtering serves as both a runtime safety mechanism and a learning mechanism for sample-efficient, robust policies.
- Abstract（参考訳）: 安全でない環境に一般化する安全なポリシーを学ぶことは、安全でない決定が回復不能になるような制限付きアクチュエーターの下では困難である。
従来の制御障壁関数(CBF)フィルタは、即時安全のみを強制し、将来の回復可能性を無視している。
SAFTER (Safety-Aware Filtering through Explicit Recoverability) を提案する。
SAFTERは、現在の安全性、有限水平バックアップ安全性、端末回復性、入力適応性を単一の識別可能な証明書に統合する。
そのCBF条件は、反復的なオンライン最適化なしに、正確に最小限の介入予測をもたらす。
四足歩行では、SAFTERは、バニラSACよりも30.6%、現在のCBFフィルターによるSACベースラインより34.1-35.1%、訓練成功率90%に達している。
SAFTERは現状のCBF-RLとSEA-Navで最大42.4と61.4の精度で成功し、2つの現実世界のナビゲーションマップで73.3%と76.7%の成功を達成した。
アブレーションは、安全フィルターによる正確な分化をロバスト性への鍵となる要因として特定し、プロジェクションジャコビアンをアイデンティティ近似に置き換えることで、ハイシフト環境での成功率が61.4%から6.2%に低下する。
これらの結果から,リカバリ性を考慮したフィルタリングが,サンプル効率・ロバストポリシのための実行時安全性機構と学習機構の両方に有効であることが示唆された。
関連論文リスト
- Rethinking GRPO for Large Reasoning Model Safety Alignment [29.125317409863943]
大きな推論モデル(LRM)は強力な推論能力を持つが、安全でない出力には弱い。
安全信号回復(SSR)と安全実用脱結合アライメント(SUDA)を組み合わせたビーコンを提案する。
提案手法は, 平均安全性と推論性能を向上し, 平均安全性誤差を32.83ポイントまで低減し, オーバーリフレクションの低減を図る。
論文 参考訳（メタデータ） (2026-10-16T07:53:36Z) - FAITH: Feasibility-Aware Safety-Filtered RL for High-Dimensional Systems [16.34527459917725]
本稿では、最適状態-動作安全値を近似し、フィードフォワードネットワークによる最小干渉フィルタリングを補正するフレームワークを提案する。
29-DoFのヒューマノイドでは99.95%の安全率に到達し、ウォーキング・エイヴォイドでは未濾過リターンの97%を維持している。
同じ方針は、現実世界のUnitree G1ヒューマノイドでも実証されている。
論文 参考訳（メタデータ） (2026-10-08T17:57:06Z) - ReSI: Recursive Safety Improvement toward Resistant and Resilient AI [79.72081502522337]
再帰的自己改善(Recursive self-improvement)、つまり、AIシステムが自身の能力を改善することへの参加は、理論的な見通しから実践へと移行し始めている。
本稿では,この手法を自動研究によって実装するフレームワークであるReSIを紹介する。
各ラウンドにおいて、ReSIは、現在のターゲットモデルの脆弱性を特定し、トレーニングレシピを開発し、最大の安全性向上でアップデートを促進するために、さまざまな赤チーム方式を適用している。
論文 参考訳（メタデータ） (2026-10-08T16:17:21Z) - Adaptive Safety Filtering for Frozen ACC Policies via Conformal Residual Calibration [3.164099552205972]
アダプティブRACFは94.3%のエピソード安全性を獲得し、評価されたCBF-QPベースラインよりも19.9ポイント向上した。
我々は,一段階の残留範囲を制約満足度に結びつける条件を特徴付けるとともに,観測された安全計算トレードオフを定量化する。
論文 参考訳（メタデータ） (2026-09-28T15:29:42Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies [0.764671395172401]
オフライン安全な強化学習は、厳格な安全制約の下で静的データセットから報酬を最大化するポリシーを求める。
安全なフローQ-Learning(SafeFQL)を提案する。これは、Hamilton-Jacobiリーチビリティにインスパイアされた安全値関数と効率的なワンステップフローポリシを組み合わせることで、FQLを安全なオフラインRLに拡張する。
ボートナビゲーション全体とSafe Gymnasium MuJoCoタスク、SafeFQLは、事前のオフラインセーフなRLパフォーマンスと一致またはオーバーし、制約違反を大幅に低減する。
論文 参考訳（メタデータ） (2026-03-16T11:28:47Z) - SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge [51.634837361795434]
SaFeR-CLIPは安全性と性能を調整し、以前の方法に比べて最大8.0%のゼロショット精度を回復する。
NSFW-Capsは、分散シフト下での安全性をテストするために、1000の高度に整合したペアの新しいベンチマークである。
論文 参考訳（メタデータ） (2025-11-20T19:00:15Z) - Safe But Not Sorry: Reducing Over-Conservatism in Safety Critics via Uncertainty-Aware Modulation [6.255435016547602]
Uncertain Safety Critic (USC) は、不確実性を認識した修正と改善を批判訓練に統合する新しいアプローチである。
USCは、競争力やより高い報酬を維持しながら、安全違反を約40%削減する。
また、予測されるコスト勾配と真のコスト勾配の誤差を約83%削減し、安全性とパフォーマンスのトレードオフを突破する。
論文 参考訳（メタデータ） (2025-10-21T09:57:44Z) - Enforcing Hard Constraints with Soft Barriers: Safe Reinforcement
Learning in Unknown Stochastic Environments [84.3830478851369]
本研究では,環境を協調的に学習し,制御ポリシーを最適化する安全な強化学習手法を提案する。
本手法は, 安全性の制約を効果的に適用し, シミュレーションにより測定したシステム安全率においてCMDPベースのベースライン法を著しく上回っている。
論文 参考訳（メタデータ） (2022-09-29T20:49:25Z) - Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。
我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2022-07-04T11:43:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。