論文の概要: Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2512.01946v1
• Date: Mon, 01 Dec 2025 17:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:35.004882
• Title: Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models
• Title（参考訳）: Guardian:視覚言語モデルによるロボット計画と実行エラーの検出
• Authors: Paul Pacaud, Ricardo Garcia, Shizhe Chen, Cordelia Schmid,
• Abstract要約: 本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。 RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。 次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
• 参考スコア（独自算出の注目度）: 53.20969621498248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust robotic manipulation requires reliable failure detection and recovery. Although current Vision-Language Models (VLMs) show promise, their accuracy and generalization are limited by the scarcity of failure data. To address this data gap, we propose an automatic robot failure synthesis approach that procedurally perturbs successful trajectories to generate diverse planning and execution failures. This method produces not only binary classification labels but also fine-grained failure categories and step-by-step reasoning traces in both simulation and the real world. With it, we construct three new failure detection benchmarks: RLBench-Fail, BridgeDataV2-Fail, and UR5-Fail, substantially expanding the diversity and scale of existing failure datasets. We then train Guardian, a VLM with multi-view images for detailed failure reasoning and detection. Guardian achieves state-of-the-art performance on both existing and newly introduced benchmarks. It also effectively improves task success rates when integrated into a state-of-the-art manipulation system in simulation and real robots, demonstrating the impact of our generated failure data.
• Abstract（参考訳）: ロバストなロボット操作は、信頼性の高い故障検出と回復を必要とする。 現在のビジョン・ランゲージ・モデル(VLM)は将来性を示すが、その正確さと一般化は故障データの不足によって制限される。 このデータギャップに対処するために,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。 本手法は, 2値分類ラベルだけでなく, 微細な故障カテゴリや, シミュレーションと実世界の両方における段階的推論トレースも生成する。 RLBench-Fail、BridgeDataV2-Fail、UR5-Failの3つの新しい障害検出ベンチマークを構築し、既存の障害データセットの多様性とスケールを大幅に拡張した。 次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。 Guardianは、既存のベンチマークと新しく導入されたベンチマークの両方で最先端のパフォーマンスを達成する。 また、シミュレーションや実ロボットの最先端操作システムに統合されたタスク成功率を効果的に向上させ、生成した障害データの影響を実証する。

関連論文リスト

• Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
  大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。 我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:35:37Z)
• Failure Prediction at Runtime for Generative Robot Policies [6.375597233389154]
  実行中の早期の障害予測は、人間中心で安全クリティカルな環境でロボットをデプロイするために不可欠である。 本稿では,フェールデータを必要としない生成ロボットポリシーの故障予測フレームワークであるFIPERを提案する。 その結果、FIPERは実際の障害と良質なOOD状況とをよく区別し、既存の手法よりも正確に早期に障害を予測できることがわかった。
  論文  参考訳（メタデータ） (2025-10-10T15:09:27Z)
• Action Flow Matching for Continual Robot Learning [54.10050120844738]
  ロボット工学における継続的な学習は、変化する環境やタスクに常に適応できるシステムを求める。 本稿では,オンラインロボット力学モデルアライメントのためのフローマッチングを利用した生成フレームワークを提案する。 ロボットは,不整合モデルで探索するのではなく,行動自体を変換することで,より効率的に情報収集を行う。
  論文  参考訳（メタデータ） (2025-04-25T16:26:15Z)
• A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees [1.3481665321936716]
  本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。 当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。 我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
  論文  参考訳（メタデータ） (2025-03-19T13:40:56Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction [28.015693808520496]
  REFLECTは、ロボットの過去の経験の階層的な要約に基づいて、失敗推論のための大規模言語モデルをクエリするフレームワークである。 本稿では,REFLECTが修正計画の立案に役立てる情報的失敗の説明を生成できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T18:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。