論文の概要: SAFE: Multitask Failure Detection for Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2506.09937v1
• Date: Wed, 11 Jun 2025 16:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.152378
• Title: SAFE: Multitask Failure Detection for Vision-Language-Action Models
• Title（参考訳）: SAFE:ビジョン・ランゲージ・アクションモデルのためのマルチタスク故障検出
• Authors: Qiao Gu, Yuanliang Ju, Shengxiang Sun, Igor Gilitschenski, Haruki Nishimura, Masha Itkina, Florian Shkurti,
• Abstract要約: 視覚言語アクションモデル(VLA)は、様々な操作タスクのセットにわたって有望なロボット行動を示している。 新規タスクのアウト・オブ・ボックスにデプロイすると、成功率は制限される。 本稿では,VLAなどの汎用ロボットポリシーのための障害検出ツールSAFEを提案する。
• 参考スコア（独自算出の注目度）: 22.744702881011964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out-of-the-box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts, and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, $\pi_0$, and $\pi_0$-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results can be found at https://vla-safe.github.io/.
• Abstract（参考訳）: 視覚言語アクションモデル(VLA)は、様々な操作タスクのセットにわたって有望なロボット動作を示してきたが、新しいタスクを最初からデプロイすると、成功率が制限される。 これらのポリシーが環境と安全に対話できるようにするには、ロボットが停止したり、バックトラックしたり、助けを求めたりできるように、タイムリーな警告を与える障害検知器が必要です。 しかしながら、既存の故障検知器は1つまたは数つの特定のタスクでのみ訓練およびテストされ、VLAは未知のタスクや新しい環境でも障害を一般化および検出するために検出器を必要とする。 本稿では,マルチタスク故障検出問題を導入し,VLAなどの汎用ロボットポリシーのための障害検出ツールSAFEを提案する。 VLAの機能空間を分析し、VLAがタスクの成功と失敗について十分な高いレベルの知識を持っていることを確かめる。 この知見に基づいて,VLAの内部特徴から学習するSAFEを設計し,タスク障害の可能性を示す単一のスカラーを予測する。 SAFEは成功したロールアウトと失敗したロールアウトの両方でトレーニングされ、目に見えないタスクで評価される。 SAFEは異なるポリシーアーキテクチャと互換性がある。 OpenVLA、$\pi_0$、$\pi_0$-FASTで試しています。 我々は,SAFEと多種多様なベースラインを比較し,SAFEが最先端の故障検出性能を達成し,整合予測を用いて精度と検出時間の最良のトレードオフを実現することを示す。 より質的な結果はhttps://vla-safe.github.io/で確認できる。

関連論文リスト

• BadVLA: Towards Backdoor Attacks on Vision-Language-Action Models via Objective-Decoupled Optimization [45.97834622654751]
  BadVLAはObjective-Decoupled Optimizationに基づくバックドア攻撃手法である。 我々は,BadVLAがクリーンタスク精度に最小限の影響を伴って,ほぼ100%の攻撃成功率を達成することを示す。 我々の研究は、VLAモデルにおけるバックドア脆弱性に関する最初の体系的な調査を提供する。
  論文  参考訳（メタデータ） (2025-05-22T13:12:46Z)
• Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies [19.27526590452503]
  FAIL-Detectは、模倣学習に基づくロボット操作における障害検出のための2段階のアプローチである。 まず、政策失敗と相関し、不確実性を捉えるスカラー信号にポリシー入力と出力を蒸留する。 我々の実験は、新しいフローベース密度推定器を使用する場合、学習信号がほぼ一貫した効果を示す。
  論文  参考訳（メタデータ） (2025-03-11T15:47:12Z)
• Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
  オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
  論文  参考訳（メタデータ） (2024-12-05T18:58:27Z)
• GRAPE: Generalizing Robot Policy via Preference Alignment [58.419992317452376]
  GRAPE: 優先度アライメントによるロボット政策の一般化について述べる。 GRAPEはドメイン内および未確認操作タスクにおける成功率をそれぞれ51.79%、58.20%向上させる。 GRAPEは安全性や効率、衝突速度の37.44%、ロールアウト長さの11.15%といった様々な目標に合わせることができる。
  論文  参考訳（メタデータ） (2024-11-28T18:30:10Z)
• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• Unpacking Failure Modes of Generative Policies: Runtime Monitoring of Consistency and Progress [31.952925824381325]
  本稿では,障害検出を補完する2つのカテゴリに分割するランタイム監視フレームワークを提案する。 視覚言語モデル(VLM)を用いて、ポリシーがタスクを解決しないアクションを確実かつ一貫して行うことを検知する。 時間的一貫性検出とVLMランタイム監視を統一することにより、Sentinelは2つの検出器のみを使用する場合よりも18%の障害を検出する。
  論文  参考訳（メタデータ） (2024-10-06T22:13:30Z)
• Vision Language Model for Interpretable and Fine-grained Detection of Safety Compliance in Diverse Workplaces [5.993182776695029]
  多様な職場安全コンプライアンスのための解釈可能な検出フレームワークであるClip2Safetyを紹介する。 このフレームワークは、シーン認識、視覚的プロンプト、安全アイテムの検出、きめ細かい検証の4つの主要なモジュールで構成されている。 その結果, Clip2Safetyは, 最先端の質問応答に基づくVLMよりも精度が向上するだけでなく, 推測時間も200倍高速であることがわかった。
  論文  参考訳（メタデータ） (2024-08-13T18:32:06Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。