論文の概要: How To Not Train Your Dragon: Training-free Embodied Object Goal
Navigation with Semantic Frontiers
- arxiv url: http://arxiv.org/abs/2305.16925v1
- Date: Fri, 26 May 2023 13:38:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 14:44:47.677122
- Title: How To Not Train Your Dragon: Training-free Embodied Object Goal
Navigation with Semantic Frontiers
- Title（参考訳）: ドラゴンを訓練しない:セマンティックフロンティアを使ったトレーニング不要の身体的目標ナビゲーション
- Authors: Junting Chen, Guohao Li, Suryansh Kumar, Bernard Ghanem, Fisher Yu
- Abstract要約: Embodied AIにおけるオブジェクトゴールナビゲーション問題に対処するためのトレーニング不要のソリューションを提案する。
本手法は,古典的な視覚的同時ローカライゼーションとマッピング(V-SLAM)フレームワークに基づく,構造化されたシーン表現を構築する。
本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
- 参考スコア（独自算出の注目度）: 94.46825166907831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object goal navigation is an important problem in Embodied AI that involves
guiding the agent to navigate to an instance of the object category in an
unknown environment -- typically an indoor scene. Unfortunately, current
state-of-the-art methods for this problem rely heavily on data-driven
approaches, \eg, end-to-end reinforcement learning, imitation learning, and
others. Moreover, such methods are typically costly to train and difficult to
debug, leading to a lack of transferability and explainability. Inspired by
recent successes in combining classical and learning methods, we present a
modular and training-free solution, which embraces more classic approaches, to
tackle the object goal navigation problem. Our method builds a structured scene
representation based on the classic visual simultaneous localization and
mapping (V-SLAM) framework. We then inject semantics into geometric-based
frontier exploration to reason about promising areas to search for a goal
object. Our structured scene representation comprises a 2D occupancy map,
semantic point cloud, and spatial scene graph.
Our method propagates semantics on the scene graphs based on language priors
and scene statistics to introduce semantic knowledge to the geometric
frontiers. With injected semantic priors, the agent can reason about the most
promising frontier to explore. The proposed pipeline shows strong experimental
performance for object goal navigation on the Gibson benchmark dataset,
outperforming the previous state-of-the-art. We also perform comprehensive
ablation studies to identify the current bottleneck in the object navigation
task.
- Abstract（参考訳）: オブジェクトゴールナビゲーションは、エージェントに未知の環境(典型的には屋内シーン)のオブジェクトカテゴリのインスタンスにナビゲートするよう指示する、Embodied AIにおける重要な問題である。
残念なことに、この問題に対する現在の最先端の手法は、データ駆動アプローチ、例えば、エンドツーエンド強化学習、模倣学習などに大きく依存しています。
さらに、そのような手法は訓練にコストがかかり、デバッグが難しいため、転送性や説明性が欠如している。
従来の手法と学習手法を組み合わせた最近の成功に触発されて,より古典的なアプローチを取り入れたモジュール式およびトレーニング不要なソリューションを提案し,目標ナビゲーション問題に対処する。
本手法は,v-slam(classic visual concurrent localization and mapping)フレームワークを用いて,構造化されたシーン表現を構築する。
次に、幾何学に基づくフロンティア探索にセマンティクスを注入して、目標オブジェクトを探索するための有望な領域を推論します。
構成されたシーン表現は,2次元占有マップ,意味点雲,空間シーングラフから構成される。
本手法は,言語先行情報とシーン統計に基づいてシーングラフのセマンティクスを伝搬し,幾何学的フロンティアに意味知識を導入する。
インジェクトされたセマンティクスにより、エージェントは最も有望なフロンティアを探索することができる。
提案するパイプラインは、gibsonベンチマークデータセット上のオブジェクト目標ナビゲーションの強力な実験性能を示し、以前の最先端を上回っている。
また,オブジェクトナビゲーションタスクにおける現在のボトルネックを特定するため,包括的なアブレーション研究を行う。
関連論文リスト
- Aligning Knowledge Graph with Visual Perception for Object-goal Navigation [16.32780793344835]
オブジェクトゴールナビゲーションのための視覚知覚付きアライニング知識グラフ(AKGVP)を提案する。
提案手法では,階層型シーンアーキテクチャの連続的モデリングを導入し,自然言語記述と視覚知覚との整合性を確保するために,視覚-言語事前学習を活用する。
継続的知識グラフアーキテクチャとマルチモーダル機能アライメントの統合により、ナビゲータは目覚ましいゼロショットナビゲーション能力を持つ。
論文 参考訳（メタデータ） (2024-02-29T06:31:18Z) - Interactive Semantic Map Representation for Skill-based Visual Object
Navigation [43.71312386938849]
本稿では,室内環境との相互作用にともなうシーンセマンティックマップの表現について紹介する。
我々はこの表現をSkillTronと呼ばれる本格的なナビゲーション手法に実装した。
提案手法により,ロボット探索の中間目標とオブジェクトナビゲーションの最終目標の両方を形成できる。
論文 参考訳（メタデータ） (2023-11-07T16:30:12Z) - Object Goal Navigation with Recursive Implicit Maps [92.6347010295396]
対象目標ナビゲーションのための暗黙的な空間マップを提案する。
提案手法は, 挑戦的なMP3Dデータセット上での技量を著しく上回る。
我々は、実際のロボットにモデルをデプロイし、実際のシーンでオブジェクトゴールナビゲーションの結果を奨励する。
論文 参考訳（メタデータ） (2023-08-10T14:21:33Z) - Learning to Map for Active Semantic Goal Navigation [40.193928212509356]
本稿では,エージェントの視野外のセマンティックマップ生成を積極的に学習する新しいフレームワークを提案する。
我々は、エクスプロイトとエクスプロイトのバランスをとることで、異なる目的をどのように定義できるかを示す。
本手法は,Matterport3Dデータセットによって提供される視覚的に現実的な環境において検証される。
論文 参考訳（メタデータ） (2021-06-29T18:01:30Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳（メタデータ） (2021-03-31T15:01:04Z) - Object Goal Navigation using Goal-Oriented Semantic Exploration [98.14078233526476]
本研究は,未確認環境における対象カテゴリーのインスタンスにナビゲートするオブジェクトゴールナビゲーションの問題を研究する。
本稿では,表層的なセマンティックマップを構築し,効率的に環境を探索する「ゴール指向セマンティック探索」というモジュールシステムを提案する。
論文 参考訳（メタデータ） (2020-07-01T17:52:32Z) - Neural Topological SLAM for Visual Navigation [112.73876869904]
意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。
本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2020-05-25T17:56:29Z) - Learning to Move with Affordance Maps [57.198806691838364]
物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。
従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。
学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
論文 参考訳（メタデータ） (2020-01-08T04:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。