論文の概要: Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning

• arxiv url: http://arxiv.org/abs/2505.10547v1
• Date: Thu, 15 May 2025 17:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.452317
• Title: Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning
• Title（参考訳）: マルチモーダル推論によるリアルタイムアウトオブディストリビューション防止
• Authors: Milan Ganai, Rohan Sinha, Christopher Agia, Daniel Morton, Marco Pavone,
• Abstract要約: FORTRESSは、OOD障害を防ぐために、セマンティックに安全なフォールバック戦略をリアルタイムで生成し、理由付けするフレームワークである。 名目操作では低い周波数で、FORTESSはマルチモーダル推論を用いて目標を特定し、障害モードを予測する。 ForTRESSは、合成ベンチマークと現実のANYmalロボットデータに対する安全性の分類精度において、遅い推論モデルのオンザフライプロンプトよりも優れています。
• 参考スコア（独自算出の注目度）: 16.8208463537532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models can provide robust high-level reasoning on appropriate safety interventions in hazardous scenarios beyond a robot's training data, i.e. out-of-distribution (OOD) failures. However, due to the high inference latency of Large Vision and Language Models, current methods rely on manually defined intervention policies to enact fallbacks, thereby lacking the ability to plan generalizable, semantically safe motions. To overcome these challenges we present FORTRESS, a framework that generates and reasons about semantically safe fallback strategies in real time to prevent OOD failures. At a low frequency in nominal operations, FORTRESS uses multi-modal reasoners to identify goals and anticipate failure modes. When a runtime monitor triggers a fallback response, FORTRESS rapidly synthesizes plans to fallback goals while inferring and avoiding semantically unsafe regions in real time. By bridging open-world, multi-modal reasoning with dynamics-aware planning, we eliminate the need for hard-coded fallbacks and human safety interventions. FORTRESS outperforms on-the-fly prompting of slow reasoning models in safety classification accuracy on synthetic benchmarks and real-world ANYmal robot data, and further improves system safety and planning success in simulation and on quadrotor hardware for urban navigation.
• Abstract（参考訳）: ファンデーションモデルは、ロボットのトレーニングデータ以外の危険なシナリオ、すなわちアウト・オブ・ディストリビューション(OOD)障害に対する適切な安全介入に関する堅牢な高レベルの推論を提供することができる。 しかし、Large VisionとLanguage Modelsの高推論遅延のため、現在の手法はフォールバックを実行するために手動で定義された介入ポリシーに依存しており、汎用的でセマンティックに安全な動作を計画する能力が欠如している。 これらの課題を克服するために、OOD障害を防止するために、意味論的に安全なフォールバック戦略をリアルタイムで生成し、理由付けするフレームワークであるFORTESSを紹介します。 名目操作では低い周波数で、FORTESSはマルチモーダル推論を用いて目標を特定し、障害モードを予測する。 ランタイムモニタがフォールバック応答をトリガーすると、FORTESSは素早くフォールバック目標を合成し、セマンティックアンセーフなリージョンをリアルタイムで推論し回避する。 オープンワールドとマルチモーダル推論を動的に意識した計画でブリッジすることで、ハードコードされたフォールバックや人間の安全介入の必要性を排除します。 FORTRESSは、合成ベンチマークと実世界のANYmalロボットデータによる安全性分類精度の低い推論モデルのオンザフライにおける性能向上と、シミュレーションおよび都市ナビゲーションのための四角形ハードウェアにおけるシステムの安全性と計画的成功の向上を実現している。

関連論文リスト

• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)
• Representation Bending for Large Language Model Safety [27.842146980762934]
  大きな言語モデル(LLM)は強力なツールとして登場したが、その固有の安全性のリスクは重大な課題を引き起こしている。 本稿では,LLMにおける有害行動の表現を根本的に破壊する新しい手法であるRepBendを紹介する。 RepBendは最先端のパフォーマンスを達成し、Circuit Breaker、RMU、NPOといった従来の手法よりも優れ、攻撃成功率を最大95%削減する。
  論文  参考訳（メタデータ） (2025-04-02T09:47:01Z)
• SafeCast: Risk-Responsive Motion Forecasting for Autonomous Vehicles [12.607007386467329]
  リスク応答型モーション予測モデルであるSafeCastを提案する。 安全を意識した意思決定と不確実性を意識した適応性を統合する。 我々のモデルは、軽量なアーキテクチャと低推論レイテンシを維持しながら、最先端(SOTA)の精度を実現する。
  論文  参考訳（メタデータ） (2025-03-28T15:38:21Z)
• Safety Verification and Optimization in Industrial Drive Systems [0.0]
  本稿では,Uppaal Stratego を用いた実世界の産業用ベーシックドライブモジュールの安全性と診断性能を最適化する。 我々は,BDMの機能的安全アーキテクチャをタイムドオートマトンでモデル化し,その重要な機能的および安全性要件を正式に検証する。 正則モデルがベースラインとして正式に検証されたことを考えると,アップパール・ストラテゴの強化学習施設を活用し,安全故障率を90%の閾値まで最適化する。
  論文  参考訳（メタデータ） (2025-03-27T20:27:19Z)
• Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies [19.27526590452503]
  FAIL-Detectは、模倣学習に基づくロボット操作における障害検出のための2段階のアプローチである。 まず、政策失敗と相関し、不確実性を捉えるスカラー信号にポリシー入力と出力を蒸留する。 我々の実験は、新しいフローベース密度推定器を使用する場合、学習信号がほぼ一貫した効果を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:47:12Z)
• Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
  広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。 安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。 本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
  論文  参考訳（メタデータ） (2024-02-23T23:22:06Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
  CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。 次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。 これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
  論文  参考訳（メタデータ） (2022-08-23T05:02:09Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。