論文の概要: Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection

• arxiv url: http://arxiv.org/abs/2412.04455v2
• Date: Mon, 09 Dec 2024 16:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:54.847829
• Title: Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection
• Title（参考訳）: Code-as-Monitor: リアクティブかつアクティブなロボット故障検出のための制約対応ビジュアルプログラミング
• Authors: Enshen Zhou, Qi Su, Cheng Chi, Zhizheng Zhang, Zhongyuan Wang, Tiejun Huang, Lu Sheng, He Wang,
• Abstract要約: オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。 モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。 実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
• 参考スコア（独自算出の注目度）: 56.66677293607114
• License:
• Abstract: Automatic detection and prevention of open-set failures are crucial in closed-loop robotic systems. Recent studies often struggle to simultaneously identify unexpected failures reactively after they occur and prevent foreseeable ones proactively. To this end, we propose Code-as-Monitor (CaM), a novel paradigm leveraging the vision-language model (VLM) for both open-set reactive and proactive failure detection. The core of our method is to formulate both tasks as a unified set of spatio-temporal constraint satisfaction problems and use VLM-generated code to evaluate them for real-time monitoring. To enhance the accuracy and efficiency of monitoring, we further introduce constraint elements that abstract constraint-related entities or their parts into compact geometric elements. This approach offers greater generality, simplifies tracking, and facilitates constraint-aware visual programming by leveraging these elements as visual prompts. Experiments show that CaM achieves a 28.7% higher success rate and reduces execution time by 31.8% under severe disturbances compared to baselines across three simulators and a real-world setting. Moreover, CaM can be integrated with open-loop control policies to form closed-loop systems, enabling long-horizon tasks in cluttered scenes with dynamic environments.
• Abstract（参考訳）: クローズドループロボットシステムでは、オープンセット障害の自動検出と防止が不可欠である。 近年の研究では、予期せぬ障害の発生を同時に検出し、予測可能な障害を積極的に予防する研究がしばしば行われている。 この目的のために、オープンセットのリアクティブとプロアクティブな障害検出の両方に視覚言語モデル(VLM)を活用する新しいパラダイムであるCode-as-Monitor(CaM)を提案する。 提案手法の中核は,両タスクを時空間制約満足度問題の一組として定式化し,VLM生成コードを用いてリアルタイム監視を行うことである。 モニタリングの精度と効率を高めるために,制約関連エンティティやそれらの部品を抽象化する制約要素をコンパクトな幾何学的要素に導入する。 このアプローチは、より汎用性を提供し、トラッキングを単純化し、これらの要素を視覚的プロンプトとして活用することにより、制約を意識したビジュアルプログラミングを容易にする。 実験の結果、CaMは成功率28.7%を達成し、3つのシミュレーターと実世界の設定のベースラインに比べて厳しい乱れの下で実行時間を31.8%削減した。 さらに、CaMはオープンループ制御ポリシと統合してクローズドループシステムを構築することができ、動的環境の散らばったシーンで長時間のタスクを可能にする。

関連論文リスト

• Real-Time Anomaly Detection and Reactive Planning with Large Language Models [18.57162998677491]
  例えば、大規模な言語モデル(LLM)は、インターネットスケールのデータに基づいて訓練され、ゼロショット機能を持つ。 本稿では,潜在的な異常に関する判断を安全な制御フレームワークに組み込む2段階の推論フレームワークを提案する。 これにより、モニターは、四輪車や自動運転車のような動的ロボットシステムの信頼性を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-11T17:59:22Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)
• Real-time Multi-modal Object Detection and Tracking on Edge for Regulatory Compliance Monitoring [8.990839181608505]
  飛行時間とRGBカメラを用いたリアルタイムマルチモーダルセンシングシステムを提案する。 これにより、継続的なオブジェクト追跡が記録保持の効率を高め、手作業による介入を最小限にすることができる。
  論文  参考訳（メタデータ） (2023-10-05T06:31:38Z)
• Solving Continuous Control via Q-learning [54.05120662838286]
  深いQ-ラーニングの簡単な修正は、アクター批判的手法による問題を大幅に軽減することを示します。 バンバン動作の離散化と値分解、協調マルチエージェント強化学習(MARL)としての単一エージェント制御のフレーミングにより、このシンプルな批判のみのアプローチは、最先端の連続アクター批判法の性能と一致する。
  論文  参考訳（メタデータ） (2022-10-22T22:55:50Z)
• Monitoring ROS2: from Requirements to Autonomous Robots [58.720142291102135]
  本稿では,構造化自然言語で記述された要件から自律ロボットのランタイムモニタを生成するための形式的アプローチの概要について述べる。 当社のアプローチでは,Fletal Requirement Elicitation Tool (FRET) とランタイム検証フレームワークであるCopilotを,Ogma統合ツールを通じて統合しています。
  論文  参考訳（メタデータ） (2022-09-28T12:19:13Z)
• Argus++: Robust Real-time Activity Detection for Unconstrained Video Streams with Overlapping Cube Proposals [85.76513755331318]
  Argus++は、制約のないビデオストリームを分析するための堅牢なリアルタイムアクティビティ検出システムである。 システム全体としては、スタンドアロンのコンシューマレベルのハードウェア上でのリアルタイム処理に最適化されている。
  論文  参考訳（メタデータ） (2022-01-14T03:35:22Z)
• Monitoring and Diagnosability of Perception Systems [21.25149064251918]
  本稿では,認識システムにおける実行時モニタリングと故障検出と識別のための数学的モデルを提案する。 本稿では,LGSVL自動運転シミュレータとApollo Auto自動運転ソフトウェアスタックを用いた実写シミュレーションにおいて,PerSySと呼ばれるモニタリングシステムを実演する。
  論文  参考訳（メタデータ） (2020-11-11T23:03:14Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。