論文の概要: One Map to Find Them All: Real-time Open-Vocabulary Mapping for Zero-shot Multi-Object Navigation
- arxiv url: http://arxiv.org/abs/2409.11764v1
- Date: Wed, 18 Sep 2024 07:44:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 18:48:44.729571
- Title: One Map to Find Them All: Real-time Open-Vocabulary Mapping for Zero-shot Multi-Object Navigation
- Title（参考訳）: すべてを見つけるための1つのマップ: ゼロショットマルチオブジェクトナビゲーションのためのリアルタイムオープン語彙マッピング
- Authors: Finn Lukas Busch, Timon Homberger, Jesús Ortega-Peimbert, Quantao Yang, Olov Andersson,
- Abstract要約: ゼロショットマルチオブジェクトナビゲーションのための新しいベンチマークを導入する。
リアルタイムオブジェクト検索に適した,再利用可能なオープン語彙機能マップを構築した。
単一目的と多目的のナビゲーションタスクにおいて,既存の最先端のアプローチよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 2.022249798290507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The capability to efficiently search for objects in complex environments is fundamental for many real-world robot applications. Recent advances in open-vocabulary vision models have resulted in semantically-informed object navigation methods that allow a robot to search for an arbitrary object without prior training. However, these zero-shot methods have so far treated the environment as unknown for each consecutive query. In this paper we introduce a new benchmark for zero-shot multi-object navigation, allowing the robot to leverage information gathered from previous searches to more efficiently find new objects. To address this problem we build a reusable open-vocabulary feature map tailored for real-time object search. We further propose a probabilistic-semantic map update that mitigates common sources of errors in semantic feature extraction and leverage this semantic uncertainty for informed multi-object exploration. We evaluate our method on a set of object navigation tasks in both simulation as well as with a real robot, running in real-time on a Jetson Orin AGX. We demonstrate that it outperforms existing state-of-the-art approaches both on single and multi-object navigation tasks. Additional videos, code and the multi-object navigation benchmark will be available on https://finnbsch.github.io/OneMap.
- Abstract（参考訳）: 複雑な環境下でオブジェクトを効率的に検索する能力は、多くの現実世界のロボットアプリケーションに欠かせない。
オープン語彙視覚モデルの最近の進歩は、ロボットが事前の訓練なしに任意の物体を探索できる意味的にインフォームドされたオブジェクトナビゲーション手法をもたらした。
しかし、これらのゼロショット法は、これまでのところ、連続したクエリ毎に環境を未知扱いしている。
本稿では,ゼロショット型マルチオブジェクトナビゲーションのための新しいベンチマークを提案する。
この問題に対処するために、リアルタイムオブジェクト検索に適した再利用可能なオープン語彙機能マップを構築した。
さらに,意味的特徴抽出における誤りの共通源を軽減し,この意味的不確実性を利用して情報的多目的探索を行う確率-意味マップの更新を提案する。
我々は,Jetson Orin AGX上でリアルタイムに動作している実ロボットとシミュレーションの両方において,オブジェクトナビゲーションタスクのセットについて評価を行った。
単一目的と多目的のナビゲーションタスクにおいて,既存の最先端のアプローチよりも優れていることを示す。
追加のビデオ、コード、マルチオブジェクトナビゲーションベンチマークがhttps://finnbsch.github.io/OneMap.comで利用可能になる。
関連論文リスト
- IPPON: Common Sense Guided Informative Path Planning for Object Goal Navigation [33.979481250363584]
本稿では,新しい情報経路計画法と3次元オブジェクト確率マッピング手法を提案する。
マッピングモジュールはセマンティックセグメンテーションとベイズフィルタによって関心対象の確率を計算する。
我々のプランナーはゼロショットアプローチに従っているが、2023年のHabitat ObjectNav Challengeにおいて、Path Length(SPL)とSoft SPLが重み付けしたSuccessによって測定された最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-25T17:11:33Z) - OpenFMNav: Towards Open-Set Zero-Shot Object Navigation via Vision-Language Foundation Models [16.50443396055173]
ゼロショットオブジェクトナビゲーションのためのオープンセットファウンデーションモデルベースのフレームワークであるOpenFMNavを提案する。
まず,大規模言語モデルの推論能力を解き明かし,提案するオブジェクトを自然言語命令から抽出する。
次に、大規模視覚言語モデルの一般化可能性を活用して、シーンから候補対象を積極的に発見し、検出する。
論文 参考訳（メタデータ） (2024-02-16T13:21:33Z) - NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration [57.15811390835294]
本稿では,目標指向ナビゲーションと目標非依存探索の両方を扱うために,単一の統合拡散政策をトレーニングする方法について述べる。
この統一された政策は、新しい環境における目標を視覚的に示す際に、全体的な性能が向上することを示す。
実世界の移動ロボットプラットフォーム上で実施した実験は,5つの代替手法と比較して,見えない環境における効果的なナビゲーションを示す。
論文 参考訳（メタデータ） (2023-10-11T21:07:14Z) - Object Goal Navigation with Recursive Implicit Maps [92.6347010295396]
対象目標ナビゲーションのための暗黙的な空間マップを提案する。
提案手法は, 挑戦的なMP3Dデータセット上での技量を著しく上回る。
我々は、実際のロボットにモデルをデプロイし、実際のシーンでオブジェクトゴールナビゲーションの結果を奨励する。
論文 参考訳（メタデータ） (2023-08-10T14:21:33Z) - A Contextual Bandit Approach for Learning to Plan in Environments with
Probabilistic Goal Configurations [20.15854546504947]
本研究では,静的なオブジェクトだけでなく可動なオブジェクトに対しても,屋内環境を効率的に探索できるオブジェクトナビのためのモジュラーフレームワークを提案する。
我々は,不確実性に直面した場合の楽観性を示すことにより,環境を効率的に探索する。
提案アルゴリズムを2つのシミュレーション環境と実世界の環境で評価し,高いサンプル効率と信頼性を示す。
論文 参考訳（メタデータ） (2022-11-29T15:48:54Z) - Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language
Navigation [87.52136927091712]
我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。
高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。
より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
論文 参考訳（メタデータ） (2022-10-14T04:23:27Z) - PONI: Potential Functions for ObjectGoal Navigation with
Interaction-free Learning [125.22462763376993]
対話自由学習(PONI)を用いたオブジェクト指向ナビゲーションの可能性について提案する。
PONIは、物がどこに見えるかというスキルと、どのように(x, y)にナビゲートするかを歪めます。」
論文 参考訳（メタデータ） (2022-01-25T01:07:32Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳（メタデータ） (2021-03-31T15:01:04Z) - Object Goal Navigation using Goal-Oriented Semantic Exploration [98.14078233526476]
本研究は,未確認環境における対象カテゴリーのインスタンスにナビゲートするオブジェクトゴールナビゲーションの問題を研究する。
本稿では,表層的なセマンティックマップを構築し,効率的に環境を探索する「ゴール指向セマンティック探索」というモジュールシステムを提案する。
論文 参考訳（メタデータ） (2020-07-01T17:52:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。