論文の概要: Fail-RAG : A Retrieval Augmented Generation Informed Framework for Robot Failure Identification

• arxiv url: http://arxiv.org/abs/2606.19598v1
• Date: Wed, 17 Jun 2026 21:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.542526
• Title: Fail-RAG : A Retrieval Augmented Generation Informed Framework for Robot Failure Identification
• Title（参考訳）: Fail-RAG : ロボットの故障識別のための検索生成インフォームドフレームワーク
• Authors: Ameya Salvi, Jie Hu,
• Abstract要約: Fail-RAGはRetrieval Augmented Generation (RAG)ベースの障害検出フレームワークである。 Fail-RAGは5種類のロボットで平均25パーセント高い障害検出精度を達成した。
• 参考スコア（独自算出の注目度）: 8.8407924555623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Industry automation is witnessing an evolution in robotics driven by both technological breakthroughs and societal changes: progress towards generalist robots, embodied and physical artificial intelligence (AI), and increasing labor shortage in manufacturing.An intelligent autonomous robot needs to not only act according to planned motions but also react to any unexpected events. In this study, we focus on such unexpected events in warehouses where robots are used for material handling. Specifically, we refer to any unexpected events as failures and develop methods to detect robot operations related failures. Rule-based detection methods may break since the form of failures could change due to the dynamic nature of both environments and tasks. We propose 'Fail-RAG', a Retrieval Augmented Generation (RAG)-based failure detection framework where failure images and context information are embedded and queried against a failure database by calculating their similarities. Vision-Language Models (VLMs) are further used to analyze failures and provide details by following our instruction template. We evaluated the performance of Fail-RAG by conducting both simulation and physical experiments using fixed robot arms and a mobile manipulator for multiple tasks that are common in warehouse automation. Fail-RAG achieved 25 percentage point higher failure detection accuracy on average across five types of robot operations compared to using off-the-shelf VLMs, indicating its effectiveness for real-world failure detection.
• Abstract（参考訳）: 産業自動化は、技術革新と社会変革の両方によって推進されるロボティクスの進化を目の当たりにしている。ジェネラリストロボットへの進歩、具体的かつ物理的な人工知能(AI)、製造業における労働不足の増加だ。インテリジェントな自律ロボットは、計画された動きに応じて行動するだけでなく、予期せぬ出来事にも反応する必要がある。 本研究では,ロボットが材料処理に使用される倉庫において,このような予期せぬ出来事に焦点をあてる。 具体的には、予期せぬ事象を障害と呼び、ロボット操作に関連する障害を検出する方法を開発する。 ルールベースの検出方法は、環境とタスクの両方の動的な性質のため、障害の形式が変わる可能性があるため、壊れる可能性がある。 本稿では,リトリーバル拡張生成(RAG)に基づく障害検出フレームワークであるFail-RAGを提案する。 VLM(Vision-Language Models)はさらに、障害を分析し、命令テンプレートに従うことで詳細を提供するために使用される。 固定ロボットアームと移動マニピュレータを用いて、倉庫の自動化に共通する複数のタスクのシミュレーションと物理実験を行うことにより、Fail-RAGの性能を評価した。 Fail-RAGは、市販のVLMと比較して5種類のロボットで平均25パーセント高い故障検出精度を達成し、実際の故障検出の有効性を示した。

関連論文リスト

• Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
  本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。 RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。 次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
  論文  参考訳（メタデータ） (2025-12-01T17:57:27Z)
• A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees [1.3481665321936716]
  本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。 当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。 我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
  論文  参考訳（メタデータ） (2025-03-19T13:40:56Z)
• Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
  本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのロバスト性を体系的に評価する。 本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。 我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
  論文  参考訳（メタデータ） (2024-11-18T01:52:20Z)
• REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction [28.015693808520496]
  REFLECTは、ロボットの過去の経験の階層的な要約に基づいて、失敗推論のための大規模言語モデルをクエリするフレームワークである。 本稿では,REFLECTが修正計画の立案に役立てる情報的失敗の説明を生成できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T18:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。