論文の概要: A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees

• arxiv url: http://arxiv.org/abs/2503.15202v2
• Date: Fri, 21 Mar 2025 08:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 11:33:41.181710
• Title: A Unified Framework for Real-Time Failure Handling in Robotics Using Vision-Language Models, Reactive Planner and Behavior Trees
• Title（参考訳）: 視覚・言語モデル, 反応平面, 行動木を用いたロボットのリアルタイム故障処理のための統一フレームワーク
• Authors: Faseeh Ahmad, Hashim Ismail, Jonathan Styrud, Maj Stenmark, Volker Krueger,
• Abstract要約: 本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。 当社のアプローチには、実行前の潜在的な障害をチェックする事前実行検証と、実行中の障害を検出し修正するリアクティブ障害処理が含まれている。 我々は、ペグ挿入、オブジェクトソート、引き手の配置といったタスクにおいて、ABB YuMiロボットを用いた実世界の実験を通して、我々のフレームワークを評価する。
• 参考スコア（独自算出の注目度）: 1.3481665321936716
• License:
• Abstract: Robotic systems often face execution failures due to unexpected obstacles, sensor errors, or environmental changes. Traditional failure recovery methods rely on predefined strategies or human intervention, making them less adaptable. This paper presents a unified failure recovery framework that combines Vision-Language Models (VLMs), a reactive planner, and Behavior Trees (BTs) to enable real-time failure handling. Our approach includes pre-execution verification, which checks for potential failures before execution, and reactive failure handling, which detects and corrects failures during execution by verifying existing BT conditions, adding missing preconditions and, when necessary, generating new skills. The framework uses a scene graph for structured environmental perception and an execution history for continuous monitoring, enabling context-aware and adaptive failure handling. We evaluate our framework through real-world experiments with an ABB YuMi robot on tasks like peg insertion, object sorting, and drawer placement, as well as in AI2-THOR simulator. Compared to using pre-execution and reactive methods separately, our approach achieves higher task success rates and greater adaptability. Ablation studies highlight the importance of VLM-based reasoning, structured scene representation, and execution history tracking for effective failure recovery in robotics.
• Abstract（参考訳）: ロボットシステムは、予期せぬ障害、センサーエラー、環境変化による実行障害に直面することが多い。 従来の障害復旧手法は事前に定義された戦略や人間の介入に依存しており、適応性が低下する。 本稿では,リアクティブプランナであるVLM(Vision-Language Models)とBT(Behavior Trees)を組み合わせて,リアルタイムの障害処理を実現する,統合された障害復旧フレームワークを提案する。 当社のアプローチには,実行前の潜在的な障害をチェックする事前実行検証や,既存のBT条件を検証し,必要ならば新たなスキルを生成することで,実行中の障害を検出し,修正するリアクティブ障害処理などが含まれています。 このフレームワークは、構造化された環境認識のためのシーングラフと継続的監視のための実行履歴を使用し、コンテキスト認識と適応的な障害処理を可能にする。 我々は,AI2-THORシミュレータと同様に,ペグ挿入,オブジェクトソート,引き出し配置といったタスクにおいて,ABB YuMiロボットを用いた実世界の実験を通じて,我々のフレームワークを評価する。 事前実行とリアクティブメソッドを別々に使用した場合と比較して,我々の手法はタスクの成功率の向上と適応性の向上を実現している。 アブレーション研究は、ロボット工学における効果的な障害回復のためのVLMベースの推論、構造化シーン表現、実行履歴追跡の重要性を強調している。

関連論文リスト

• Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
  オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
  論文  参考訳（メタデータ） (2024-12-05T18:58:27Z)
• TI-PREGO: Chain of Thought and In-Context Learning for Online Mistake Detection in PRocedural EGOcentric Videos [48.126793563151715]
  オンラインのオープンセットの手続きミスを効果的に検出する技術はない。 1つのブランチは、入力されたエゴセントリックビデオからステップ認識を連続的に行う。 もう1つは、認識モジュールの出力に基づいて将来のステップを予測します。
  論文  参考訳（メタデータ） (2024-11-04T20:03:06Z)
• Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
  継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。 我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。 教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T15:48:40Z)
• Learning to Recover from Plan Execution Errors during Robot Manipulation: A Neuro-symbolic Approach [7.768747914019512]
  本稿では,自動エラー発見とリカバリのためのアプローチ(記号探索によるブレンディング学習)を提案する。 我々はアルゴリズムの任意のバージョンを提示し、最後に正しい状態に戻る代わりに、元の計画におけるサブゴールを探索する。
  論文  参考訳（メタデータ） (2024-05-29T10:03:57Z)
• A Model for Optimal Resilient Planning Subject to Fallible Actuators [28.11583381961291]
  我々は,Markov Decision Processes (MDP) フレームワーク内での故障を受けやすいアクチュエータによる計画の問題を定式化する。 このモデルは、利用駆動型故障とアクチュエータ故障の状態依存確率をキャプチャする。 我々は、構成が密接に関連する問題を生じさせるという観察を生かして、再使用による計算を省く機会を見出した。
  論文  参考訳（メタデータ） (2024-05-18T22:07:38Z)
• Adaptable Recovery Behaviors in Robotics: A Behavior Trees and Motion Generators(BTMG) Approach for Failure Management [0.0]
  本稿では,リカバリ動作を適応可能なロボット技術としてモデル化し,行動木と動作生成器(BTMG)フレームワークをポリシー表現に活用する手法を提案する。 我々は,ペグ・イン・ア・ホール作業における一連の段階的なシナリオを通じて方法論を評価し,ロボットの協調作業における作業効率の向上とタスク成功率の向上に対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-04-09T08:56:43Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Model-Based Runtime Monitoring with Interactive Imitation Learning [30.70994322652745]
  本研究は,タスク実行中のエラーを監視し,検出する能力を備えたロボットの実現を目的とする。 本稿では,デプロイメントデータからシステム異常を検出し,障害を予測するためのモデルベースランタイム監視アルゴリズムを提案する。 本手法は, シミュレーションおよび物理ハードウェアにおいて, 23%, 40%高い成功率で, システムレベルおよび単体テストの基準線を上回り, 性能を向上する。
  論文  参考訳（メタデータ） (2023-10-26T16:45:44Z)
• Competence-Aware Path Planning via Introspective Perception [36.39015240656877]
  本稿では,認識の誤りによる計画実行失敗を推論することで,有能な計画立案のための構造的モデルフリーアプローチを提案する。 タスクレベルの能力を反復的に学習し活用するためのベイズ的枠組みである,イントロスペクティブ・イントロスペクティブ・インセプティヴ・インセプティヴ・インセプティヴ・インセプティヴ・パス・プランニング(CPIP)を導入する。
  論文  参考訳（メタデータ） (2021-09-28T18:29:21Z)
• Assessing out-of-domain generalization for robust building damage detection [78.6363825307044]
  建築損傷検出は、衛星画像にコンピュータビジョン技術を適用することで自動化することができる。 モデルは、トレーニングで利用可能な災害画像と、新しいイベントの画像の間の分散の変化に対して堅牢でなければならない。 今後はOOD体制に重点を置くべきだと我々は主張する。
  論文  参考訳（メタデータ） (2020-11-20T10:30:43Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。