論文の概要: Fail-RAG : A Retrieval Augmented Generation Informed Framework for Robot Failure Identification
- arxiv url: http://arxiv.org/abs/2606.19598v1
- Date: Wed, 17 Jun 2026 21:02:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.542526
- Title: Fail-RAG : A Retrieval Augmented Generation Informed Framework for Robot Failure Identification
- Title(参考訳): Fail-RAG : ロボットの故障識別のための検索生成インフォームドフレームワーク
- Abstract要約: Fail-RAGはRetrieval Augmented Generation (RAG)ベースの障害検出フレームワークである。
Fail-RAGは5種類のロボットで平均25パーセント高い障害検出精度を達成した。
- 参考スコア(独自算出の注目度): 8.8407924555623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industry automation is witnessing an evolution in robotics driven by both technological breakthroughs and societal changes: progress towards generalist robots, embodied and physical artificial intelligence (AI), and increasing labor shortage in manufacturing.An intelligent autonomous robot needs to not only act according to planned motions but also react to any unexpected events. In this study, we focus on such unexpected events in warehouses where robots are used for material handling. Specifically, we refer to any unexpected events as failures and develop methods to detect robot operations related failures. Rule-based detection methods may break since the form of failures could change due to the dynamic nature of both environments and tasks. We propose 'Fail-RAG', a Retrieval Augmented Generation (RAG)-based failure detection framework where failure images and context information are embedded and queried against a failure database by calculating their similarities. Vision-Language Models (VLMs) are further used to analyze failures and provide details by following our instruction template. We evaluated the performance of Fail-RAG by conducting both simulation and physical experiments using fixed robot arms and a mobile manipulator for multiple tasks that are common in warehouse automation. Fail-RAG achieved 25 percentage point higher failure detection accuracy on average across five types of robot operations compared to using off-the-shelf VLMs, indicating its effectiveness for real-world failure detection.
- Abstract(参考訳): 産業自動化は、技術革新と社会変革の両方によって推進されるロボティクスの進化を目の当たりにしている。ジェネラリストロボットへの進歩、具体的かつ物理的な人工知能(AI)、製造業における労働不足の増加だ。インテリジェントな自律ロボットは、計画された動きに応じて行動するだけでなく、予期せぬ出来事にも反応する必要がある。
本研究では,ロボットが材料処理に使用される倉庫において,このような予期せぬ出来事に焦点をあてる。
具体的には、予期せぬ事象を障害と呼び、ロボット操作に関連する障害を検出する方法を開発する。
ルールベースの検出方法は、環境とタスクの両方の動的な性質のため、障害の形式が変わる可能性があるため、壊れる可能性がある。
本稿では,リトリーバル拡張生成(RAG)に基づく障害検出フレームワークであるFail-RAGを提案する。
VLM(Vision-Language Models)はさらに、障害を分析し、命令テンプレートに従うことで詳細を提供するために使用される。
固定ロボットアームと移動マニピュレータを用いて、倉庫の自動化に共通する複数のタスクのシミュレーションと物理実験を行うことにより、Fail-RAGの性能を評価した。
Fail-RAGは、市販のVLMと比較して5種類のロボットで平均25パーセント高い故障検出精度を達成し、実際の故障検出の有効性を示した。
関連論文リスト
- RoboBRIDGE: A Modular Framework for Bridging Policies to Robust Real-World Robotic Agents [26.4490744619718]
VLA(Vision-Language-Action)モデルは、ロボット操作のスケーラブルなアプローチとして関心を集めている。
既存のソリューションは、モデルの再トレーニングや環境固有のモジュールを通じて、これらの制限に個別に対処する。
我々は,5つの協調モジュール上にオーケストレーション層を提供するモジュールフレームワークであるRoboBRIDGEを紹介する。
論文 参考訳(メタデータ) (2026-07-30T08:55:45Z) - RoboWits: Unexpected Challenges for Robotic Creative Problem Solving [58.58727722988084]
我々は、認知的推論、創造的ツールの使用、予期しない状況に対する堅牢性を評価するために設計された、双方向のロボットベンチマークであるRoboWitsを紹介する。
このパイプラインを用いて,30種類の種タスクと208のタスクを,幾何学的,物質的,集合的推論にまたがる変異と難易度でキュレートした。
プレトレーニングされたVLAは,単一タスクの微調整後にシードタスクに予備的な成功を示すが,変異タスクの実行に苦慮している。
論文 参考訳(メタデータ) (2026-05-28T17:57:15Z) - RC-NF: Robot-Conditioned Normalizing Flow for Real-Time Anomaly Detection in Robotic Manipulation [68.7948300643741]
ロボットの異常検出と介入をリアルタイムに監視するロボット・コンディションド・ノーマライゼーション・フロー(RC-NF)を提案する。
RC-NFは、正規化フロー内のタスク認識ロボットとオブジェクト状態の処理を分離する。
従来のロボットタスクの監視方法と比較して、あらゆる異常なタイプで最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-03-11T10:14:37Z) - Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。
RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。
次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
論文 参考訳(メタデータ) (2025-12-01T17:57:27Z) - Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics [55.05920313034645]
本稿では,ロボット制御に特化して具体的推論を強化するため,強化学習を活用した新しいフレームワークであるRobot-R1を紹介する。
DeepSeek-R1学習アプローチにインスパイアされたRobot-R1は、推論に基づく応答をサンプリングし、より正確な予測につながるものを強化する。
実験の結果,ロボットR1で訓練したモデルは,具体的推論タスクにおいて,SFT法よりも優れていた。
論文 参考訳(メタデータ) (2025-05-29T16:41:12Z) - A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees [1.3481665321936716]
本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。
当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。
我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
論文 参考訳(メタデータ) (2025-03-19T13:40:56Z) - Exploring the Adversarial Vulnerabilities of Vision-Language-Action Models in Robotics [68.36528819227641]
本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのロバスト性を体系的に評価する。
本研究では,ロボット行動の不安定化に空間的基盤を活用する2つの未目標攻撃目標と,ロボット軌道を操作する目標攻撃目標を導入する。
我々は、カメラの視野に小さなカラフルなパッチを配置し、デジタルと物理の両方の環境で効果的に攻撃を実行する逆パッチ生成アプローチを設計する。
論文 参考訳(メタデータ) (2024-11-18T01:52:20Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳(メタデータ) (2024-02-22T15:12:00Z) - REFLECT: Summarizing Robot Experiences for Failure Explanation and
Correction [28.015693808520496]
REFLECTは、ロボットの過去の経験の階層的な要約に基づいて、失敗推論のための大規模言語モデルをクエリするフレームワークである。
本稿では,REFLECTが修正計画の立案に役立てる情報的失敗の説明を生成できることを示す。
論文 参考訳(メタデータ) (2023-06-27T18:03:15Z) - Proactive Anomaly Detection for Robot Navigation with Multi-Sensor
Fusion [7.293053431456775]
移動ロボットは異常な動作を生成し、ナビゲーション障害を引き起こす。
反応異常検出法は、現在のロボットの状態に基づいて異常なタスク実行を識別する。
本研究では,非構造的かつ不確実な環境下でのロボットナビゲーションのための能動的異常検出ネットワーク(PAAD)を提案する。
論文 参考訳(メタデータ) (2022-04-03T19:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。