論文の概要: Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures

• arxiv url: http://arxiv.org/abs/2505.00779v1
• Date: Thu, 01 May 2025 18:18:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.790311
• Title: Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures
• Title（参考訳）: アウト・オブ・ディストリビューション障害を回避するための不確かさを意識した潜時安全フィルタ
• Authors: Junwon Seo, Kensuke Nakamura, Andrea Bajcsy,
• Abstract要約: 本研究では,不確実性を考慮した潜伏型安全フィルタを導入し,ロボットを既知の障害や目に見えない障害から遠ざけている。 この不確実性認識型安全フィルタは,潜在的な安全でないシナリオを事前に検出し,安全かつ不分配な動作を確実に提案することを示す。
• 参考スコア（独自算出の注目度）: 7.0540936204654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in generative world models have enabled classical safe control methods, such as Hamilton-Jacobi (HJ) reachability, to generalize to complex robotic systems operating directly from high-dimensional sensor observations. However, obtaining comprehensive coverage of all safety-critical scenarios during world model training is extremely challenging. As a result, latent safety filters built on top of these models may miss novel hazards and even fail to prevent known ones, overconfidently misclassifying risky out-of-distribution (OOD) situations as safe. To address this, we introduce an uncertainty-aware latent safety filter that proactively steers robots away from both known and unseen failures. Our key idea is to use the world model's epistemic uncertainty as a proxy for identifying unseen potential hazards. We propose a principled method to detect OOD world model predictions by calibrating an uncertainty threshold via conformal prediction. By performing reachability analysis in an augmented state space-spanning both the latent representation and the epistemic uncertainty-we synthesize a latent safety filter that can reliably safeguard arbitrary policies from both known and unseen safety hazards. In simulation and hardware experiments on vision-based control tasks with a Franka manipulator, we show that our uncertainty-aware safety filter preemptively detects potential unsafe scenarios and reliably proposes safe, in-distribution actions. Video results can be found on the project website at https://cmu-intentlab.github.io/UNISafe
• Abstract（参考訳）: 近年のジェネレーティブ・ワールド・モデルの発展により、ハミルトン・ヤコビ(HJ)の到達可能性のような古典的な安全制御手法が、高次元センサー観測から直接動作する複雑なロボットシステムに一般化できるようになった。 しかし,世界モデルトレーニングにおいて,すべての安全クリティカルシナリオを網羅的に把握することは極めて困難である。 結果として、これらのモデルの上に構築された潜伏型安全フィルタは、新しい危険を見逃し、既知のものを防ぐのに失敗する可能性がある。 そこで本研究では,不確実性を意識した潜伏型安全フィルタを導入し,ロボットを既知の障害や目に見えない障害から遠ざけている。 私たちのキーとなる考え方は、世界モデルの疫学的不確実性を、目に見えない潜在的な危険を識別するためのプロキシとして使うことです。 共形予測を用いて不確かさ閾値を校正し,OOD世界モデル予測を原理的に検出する手法を提案する。 拡張状態の空間スパンニングにおいて到達可能性解析を行うことにより、潜伏表現とてんかん不確実性の両方を合成し、未知の安全ハザードと未知の安全ハザードの両方から任意のポリシーを確実に保護できる潜伏安全フィルタを合成する。 フランカマニピュレータを用いた視覚制御タスクのシミュレーションおよびハードウェア実験において、不確実性を考慮した安全フィルタが潜在的な安全でないシナリオを事前に検出し、安全な非分配動作を確実に提案することを示した。 ビデオ結果はプロジェクトのWebサイトhttps://cmu-intentlab.github.io/UNISafeで見ることができる。

関連論文リスト

• Generalizing Safety Beyond Collision-Avoidance via Latent-Space Reachability Analysis [6.267574471145217]
  Hamilton-Jacobi (H) は、ロボットが安全でない状態を同時に検出し、アクションを生成するための厳格なフレームワークである。 生観測データを直接操作する潜在空間到達性であるLa Safety Filtersを提案する。
  論文  参考訳（メタデータ） (2025-02-02T22:00:20Z)
• SafetyAnalyst: Interpretable, transparent, and steerable safety moderation for AI behavior [56.10557932893919]
  我々は、新しいAI安全モデレーションフレームワークであるSafetyAnalystを紹介する。 AIの振る舞いを考えると、SafetyAnalystはチェーン・オブ・シークレット・推論を使用してその潜在的な結果を分析する。 あらゆる有害かつ有益な効果を、完全に解釈可能な重みパラメータを用いて有害度スコアに集約する。
  論文  参考訳（メタデータ） (2024-10-22T03:38:37Z)
• Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning [0.0]
  本稿では,RLの安全性を高めるために,異常状態列を利用した安全強化学習(RL)手法を提案する。 自動運転車を含む複数の安全クリティカルな環境の実験において、我々のソリューションアプローチはより安全なポリシーをうまく学習する。
  論文  参考訳（メタデータ） (2024-07-29T10:30:07Z)
• Safe Inputs but Unsafe Output: Benchmarking Cross-modality Safety Alignment of Large Vision-Language Model [73.8765529028288]
  我々は、モダリティ間の安全アライメントを評価するために、セーフインプットとアンセーフアウトプット(SIUO)と呼ばれる新しい安全アライメントの課題を導入する。 この問題を実証的に調査するため,我々はSIUOを作成した。SIUOは,自己修復,違法行為,プライバシー侵害など,9つの重要な安全領域を含むクロスモダリティベンチマークである。 以上の結果から, クローズドおよびオープンソース両方のLVLMの安全性上の重大な脆弱性が明らかとなり, 複雑で現実的なシナリオを確実に解釈し, 応答する上で, 現行モデルが不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T16:14:15Z)
• Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
  メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。 コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。 ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
  論文  参考訳（メタデータ） (2022-10-03T08:38:38Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach [2.741266294612776]
  安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。 提案手法は, 各政策改善段階を抑制するための安全な政策に関して, リャプノフ関数を構築する。 安全集合と呼ばれる安全な操作範囲を決定する一連の安全なポリシーを導出する。
  論文  参考訳（メタデータ） (2020-02-24T09:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。