論文の概要: Open-vocabulary Mobile Manipulation in Unseen Dynamic Environments with 3D Semantic Maps
- arxiv url: http://arxiv.org/abs/2406.18115v1
- Date: Wed, 26 Jun 2024 07:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 14:28:34.623894
- Title: Open-vocabulary Mobile Manipulation in Unseen Dynamic Environments with 3D Semantic Maps
- Title（参考訳）: 3次元セマンティックマップを用いた未知の動的環境における開語彙移動操作
- Authors: Dicong Qiu, Wenzong Ma, Zhenfu Pan, Hui Xiong, Junwei Liang,
- Abstract要約: Open-Vocabulary Mobile Manipulation (OVMM)は、自律ロボットにとって重要な機能である。
ゼロショット検出とグラウンドド認識機能を活用した新しいフレームワークを提案する。
我々は,10-DoFモバイル操作ロボットプラットフォームJSR-1を構築し,実世界のロボット実験で実証した。
- 参考スコア（独自算出の注目度）: 16.083092305930844
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Open-Vocabulary Mobile Manipulation (OVMM) is a crucial capability for autonomous robots, especially when faced with the challenges posed by unknown and dynamic environments. This task requires robots to explore and build a semantic understanding of their surroundings, generate feasible plans to achieve manipulation goals, adapt to environmental changes, and comprehend natural language instructions from humans. To address these challenges, we propose a novel framework that leverages the zero-shot detection and grounded recognition capabilities of pretraining visual-language models (VLMs) combined with dense 3D entity reconstruction to build 3D semantic maps. Additionally, we utilize large language models (LLMs) for spatial region abstraction and online planning, incorporating human instructions and spatial semantic context. We have built a 10-DoF mobile manipulation robotic platform JSR-1 and demonstrated in real-world robot experiments that our proposed framework can effectively capture spatial semantics and process natural language user instructions for zero-shot OVMM tasks under dynamic environment settings, with an overall navigation and task success rate of 80.95% and 73.33% over 105 episodes, and better SFT and SPL by 157.18% and 19.53% respectively compared to the baseline. Furthermore, the framework is capable of replanning towards the next most probable candidate location based on the spatial semantic context derived from the 3D semantic map when initial plans fail, keeping an average success rate of 76.67%.
- Abstract（参考訳）: Open-Vocabulary Mobile Manipulation (OVMM) は自律ロボットにとって重要な機能であり、特に未知の動的環境がもたらす課題に直面している。
このタスクでは、ロボットが周囲のセマンティックな理解を探求し構築し、操作目標を達成するための実行可能な計画を作成し、環境の変化に適応し、人間からの自然言語の指示を理解する必要がある。
これらの課題に対処するために,視覚言語モデル(VLM)のゼロショット検出と接地認識機能と,高密度な3次元実体再構成と組み合わせて3Dセマンティックマップを構築する新しいフレームワークを提案する。
さらに,大規模言語モデル(LLM)を空間領域の抽象化とオンライン計画に利用し,人間の指示と空間意味コンテキストを取り入れた。
我々は10-DoFモバイル操作ロボットプラットフォームJSR-1を開発し、実世界のロボット実験において、提案するフレームワークは、動的環境下でのゼロショットOVMMタスクの空間意味論を効果的に把握し、自然言語ユーザ命令を処理できることを実証した。
さらに、このフレームワークは、初期計画が失敗したときに3Dセマンティックマップから派生した空間意味コンテキストに基づいて、次の最も可能性の高い候補位置に向けて再計画し、平均成功率76.67%を維持することができる。
関連論文リスト
- Simultaneous Localization and Affordance Prediction for Tasks in Egocentric Video [18.14234312389889]
本稿では,視覚的インプットとタスク記述を結びつけるために,空間的局所化されたエゴセントリックビデオのトレーニングを行うシステムを提案する。
提案手法は,VLMを用いてタスク記述の類似性を位置タグ付き画像にマッピングする手法よりも優れていることを示す。
このシステムは、ロボットがエゴセントリックな感覚を使って、自然言語で指定された新しいタスクの物理的な場所をナビゲートすることを可能にする。
論文 参考訳（メタデータ） (2024-07-18T18:55:56Z) - Towards Natural Language-Guided Drones: GeoText-1652 Benchmark with Spatial Relation Matching [60.645802236700035]
自然言語コマンドを通じてドローンをナビゲートすることは、アクセス可能なマルチモーダルデータセットが不足しているため、依然として難しい。
我々は新しい自然言語誘導ジオローカライゼーションベンチマークGeoText-1652を紹介する。
このデータセットは、インタラクティブなヒューマンコンピュータプロセスを通じて体系的に構築される。
論文 参考訳（メタデータ） (2023-11-21T17:52:30Z) - Navigation with Large Language Models: Semantic Guesswork as a Heuristic
for Planning [73.0990339667978]
不慣れな環境でのナビゲーションは、ロボットにとって大きな課題となる。
言語モデルを用いて、新しい現実世界環境のバイアス探索を行う。
実環境におけるLFGの評価とシミュレーションベンチマークを行った。
論文 参考訳（メタデータ） (2023-10-16T06:21:06Z) - VoxPoser: Composable 3D Value Maps for Robotic Manipulation with
Language Models [38.503337052122234]
大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。
我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。
筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
論文 参考訳（メタデータ） (2023-07-12T07:40:48Z) - CorNav: Autonomous Agent with Self-Corrected Planning for Zero-Shot Vision-and-Language Navigation [73.78984332354636]
CorNavは視覚・言語ナビゲーションのための新しいゼロショットフレームワークである。
将来の計画の見直しや行動調整のための環境フィードバックが組み込まれている。
ゼロショットマルチタスク設定ですべてのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2023-06-17T11:44:04Z) - RREx-BoT: Remote Referring Expressions with a Bag of Tricks [19.036557405184656]
本研究では,未観測環境における物体の探索に視覚言語スコアリングモデルを用いる方法を示す。
私たちは、我々のモデルを現実世界のTurtleBotプラットフォーム上でデモし、このアプローチの単純さと有用性を強調します。
本分析では,3次元座標と文脈の利用から,視覚言語モデルから大規模3次元検索空間への一般化に至るまで,この課題を達成する上で不可欠な「トリックの袋」を概説する。
論文 参考訳（メタデータ） (2023-01-30T02:19:19Z) - HARPS: An Online POMDP Framework for Human-Assisted Robotic Planning and
Sensing [1.3678064890824186]
HARPS(Human Assisted Robotic Planning and Sensing)フレームワークは、ロボットチームにおけるアクティブなセマンティックセンシングと計画のためのフレームワークである。
このアプローチにより、人間が不規則にモデル構造を強制し、不確実な環境で意味的なソフトデータの範囲を拡張することができる。
大規模部分構造環境におけるUAV対応ターゲット探索アプリケーションのシミュレーションは、時間と信念状態の推定において著しく改善されている。
論文 参考訳（メタデータ） (2021-10-20T00:41:57Z) - Large-scale Autonomous Flight with Real-time Semantic SLAM under Dense
Forest Canopy [48.51396198176273]
本研究では,大規模自律飛行とリアルタイムセマンティックマッピングを,挑戦的なアンダーキャノピー環境下で実現可能な統合システムを提案する。
我々は、スキャン全体で関連付けられ、木のトランクモデルと同様にロボットのポーズを制約するために使用されるLiDARデータから、木の幹と地面の平面を検出し、モデル化する。
ドリフト補償機構は、プランナー最適性とコントローラ安定性を維持しつつ、セマンティックSLAM出力を用いたドリフトをリアルタイムで最小化するように設計されている。
論文 参考訳（メタデータ） (2021-09-14T07:24:53Z) - Language Understanding for Field and Service Robots in a Priori Unknown
Environments [29.16936249846063]
本稿では,フィールドロボットとサービスロボットによる自然言語命令の解釈と実行を可能にする,新しい学習フレームワークを提案する。
自然言語の発話において、空間的、位相的、意味的な情報を暗黙的に推測する。
本研究では,この分布を確率論的言語基底モデルに組み込んで,ロボットの行動空間のシンボル表現上の分布を推定する。
論文 参考訳（メタデータ） (2021-05-21T15:13:05Z) - Sim-to-Real Transfer for Vision-and-Language Navigation [70.86250473583354]
本研究では,従来は目に見えなかった環境下でロボットを解放し,制約のない自然言語ナビゲーション指示に従うという課題について検討する。
VLN(Vision-and-Language Navigation)の課題に関する最近の研究は、シミュレーションにおいて大きな進歩を遂げている。
ロボット工学における本研究の意義を評価するため,シミュレーションで訓練されたVLNエージェントを物理ロボットに転送する。
論文 参考訳（メタデータ） (2020-11-07T16:49:04Z) - Learning to Move with Affordance Maps [57.198806691838364]
物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。
従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。
学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
論文 参考訳（メタデータ） (2020-01-08T04:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。