論文の概要: NavAgent: Multi-scale Urban Street View Fusion For UAV Embodied Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2411.08579v1
• Date: Wed, 13 Nov 2024 12:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:27.325353
• Title: NavAgent: Multi-scale Urban Street View Fusion For UAV Embodied Vision-and-Language Navigation
• Title（参考訳）: NavAgent:UAVの視覚・言語ナビゲーションのためのマルチスケール都市ストリートビューフュージョン
• Authors: Youzhi Liu, Fanglong Yao, Yuanchang Yue, Guangluan Xu, Xian Sun, Kun Fu,
• Abstract要約: Vision-and-Language Navigation (VLN)は、エンボディエージェントが自然言語コマンドを通じて複雑な視覚環境をナビゲートできるようにすることを目的としている。 本研究では,大規模な視覚言語モデルによって駆動される初の都市型UAV実施ナビゲーションモデルであるNavAgentを提案する。 我々は、きめ細かいランドマークを識別し、言語化できるランドマークの視覚認識器を構築した。 NavAgent-Landmark2Kは、ランドマークのための視覚認識装置を訓練するために、実際の街路シーンのための、最初のきめ細かいランドマークデータセットである。
• 参考スコア（独自算出の注目度）: 15.628308089720269
• License:
• Abstract: Vision-and-Language Navigation (VLN), as a widely discussed research direction in embodied intelligence, aims to enable embodied agents to navigate in complicated visual environments through natural language commands. Most existing VLN methods focus on indoor ground robot scenarios. However, when applied to UAV VLN in outdoor urban scenes, it faces two significant challenges. First, urban scenes contain numerous objects, which makes it challenging to match fine-grained landmarks in images with complex textual descriptions of these landmarks. Second, overall environmental information encompasses multiple modal dimensions, and the diversity of representations significantly increases the complexity of the encoding process. To address these challenges, we propose NavAgent, the first urban UAV embodied navigation model driven by a large Vision-Language Model. NavAgent undertakes navigation tasks by synthesizing multi-scale environmental information, including topological maps (global), panoramas (medium), and fine-grained landmarks (local). Specifically, we utilize GLIP to build a visual recognizer for landmark capable of identifying and linguisticizing fine-grained landmarks. Subsequently, we develop dynamically growing scene topology map that integrate environmental information and employ Graph Convolutional Networks to encode global environmental data. In addition, to train the visual recognizer for landmark, we develop NavAgent-Landmark2K, the first fine-grained landmark dataset for real urban street scenes. In experiments conducted on the Touchdown and Map2seq datasets, NavAgent outperforms strong baseline models. The code and dataset will be released to the community to facilitate the exploration and development of outdoor VLN.
• Abstract（参考訳）: VLN(Vision-and-Language Navigation)は、インボディードインテリジェンスの研究の方向性として広く議論されているもので、エンボディードエージェントが自然言語コマンドを通じて複雑な視覚環境をナビゲートできるようにすることを目的としている。 既存のVLN手法のほとんどは屋内の地上ロボットのシナリオに焦点を当てている。 しかし、屋外の都市シーンでUAV VLNに適用すると、2つの大きな課題に直面します。 まず、都会のシーンには多数のオブジェクトが含まれており、画像のきめ細かいランドマークと、これらのランドマークの複雑なテキスト記述とを一致させることが困難である。 第二に、全体的な環境情報は複数のモーダル次元を含み、表現の多様性は符号化プロセスの複雑さを著しく増大させる。 これらの課題に対処するために,大規模なビジョンランゲージモデルによって駆動される初の都市型UAV実施ナビゲーションモデルであるNavAgentを提案する。 NavAgentは、トポロジカルマップ(英語版)、パノラマ(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)、きめ細かいランドマーク(英語版)(英語版)(英語版)(英語版)(英語版))を含む複数スケールの環境情報を合成することによってナビゲーションタスクを実行する。 具体的には、GLIPを用いて、きめ細かいランドマークの識別と言語化が可能なランドマークの視覚認識器を構築する。 その後,環境情報を統合し,グローバルな環境データをエンコードするためにグラフ畳み込みネットワークを用いた動的に成長するシーントポロジマップを開発した。 さらに、ランドマークのための視覚認識装置を訓練するために、実際の街路シーンのための最初のきめ細かいランドマークデータセットであるNavAgent-Landmark2Kを開発した。 TouchdownとMap2seqデータセットで実施された実験では、NavAgentは強力なベースラインモデルを上回っている。 コードとデータセットは、屋外VLNの探索と開発を容易にするために、コミュニティにリリースされます。

関連論文リスト

• CityNav: Language-Goal Aerial Navigation Dataset with Geographic Information [25.51740922661166]
  ビジョン・アンド・ランゲージナビゲーション(VLN)は、視覚的および言語的手がかりを統合することで、現実の環境を通して自律的なエージェントを誘導することを目的としている。 実都市の3次元環境における言語誘導型航法用に明示的に設計された新しいデータセットであるCityNavを紹介する。 CityNavは、新たに開発されたWebベースの3Dシミュレータを通じて収集された、人間の実証軌道と組み合わせた32kの自然言語記述で構成されている。
  論文  参考訳（メタデータ） (2024-06-20T12:08:27Z)
• SayNav: Grounding Large Language Models for Dynamic Planning to Navigation in New Environments [14.179677726976056]
  SayNavは、Large Language Models(LLM)からの人間の知識を活用して、複雑なナビゲーションタスクを効率的に一般化する新しいアプローチである。 SayNavは最先端の結果を達成し、成功率の点で強烈な地道的な仮定でオラクルベースのベースラインを8%以上上回ります。
  論文  参考訳（メタデータ） (2023-09-08T02:24:37Z)
• AerialVLN: Vision-and-Language Navigation for UAVs [23.40363176320464]
  AerialVLNという,UAVをベースとした,屋外環境に向けた新しいタスクを提案する。 都市レベル25のシナリオをほぼリアルに表現した3次元シミュレータを開発した。 AerialVLNが新しい課題であることを示唆するベースラインモデルと人的パフォーマンスの間にはまだ大きなギャップがある。
  論文  参考訳（メタデータ） (2023-08-13T09:55:04Z)
• VELMA: Verbalization Embodiment of LLM Agents for Vision and Language Navigation in Street View [81.58612867186633]
  視覚と言語ナビゲーション(VLN)は、視覚的および自然言語の理解と空間的および時間的推論能力を必要とする。 VELMAは,2つのコンテキスト内例のみを用いて,ストリートビューでのナビゲーション指示に従うことができることを示す。 数千の例でLLMエージェントをさらに微調整し、従来の2つのデータセットのタスク完了に対する25%-30%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2023-07-12T11:08:24Z)
• Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation [87.52136927091712]
  我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。 高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。 より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
  論文  参考訳（メタデータ） (2022-10-14T04:23:27Z)
• A New Path: Scaling Vision-and-Language Navigation with Synthetic Instructions and Imitation Learning [70.14372215250535]
  VLN(Vision-and-Language Navigation)の最近の研究は、RLエージェントを訓練して、フォトリアリスティックな環境で自然言語ナビゲーション命令を実行する。 人間の指導データが不足し、訓練環境の多様性が限られていることを考えると、これらのエージェントは複雑な言語基盤と空間言語理解に苦慮している。 我々は、密集した360度パノラマで捉えた500以上の屋内環境を取り、これらのパノラマを通して航法軌道を構築し、各軌道に対して視覚的に接地された指示を生成する。 4.2Mの命令-軌道対のデータセットは、既存の人間の注釈付きデータセットよりも2桁大きい。
  論文  参考訳（メタデータ） (2022-10-06T17:59:08Z)
• Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation [87.03299519917019]
  本稿では,2次元グラフ変換器 (DUET) を提案する。 我々は,グローバルな行動空間における効率的な探索を可能にするために,トポロジカルマップをオンザフライで構築する。 提案手法であるDUETは、目標指向の視覚・言語ナビゲーションベンチマークにおいて最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-02-23T19:06:53Z)
• SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
  人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。 ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。 このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
  論文  参考訳（メタデータ） (2021-03-31T15:01:04Z)
• Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
  視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。 ナビゲーション中に知覚を正確に記憶できるほど区画化されている。 また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
  論文  参考訳（メタデータ） (2021-03-05T03:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。