論文の概要: Instance-Enriched Semantic Maps for Visual Language Navigation

• arxiv url: http://arxiv.org/abs/2607.12630v2
• Date: Fri, 17 Jul 2026 06:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 13:50:44.211685
• Title: Instance-Enriched Semantic Maps for Visual Language Navigation
• Title（参考訳）: ビジュアル言語ナビゲーションのためのインスタンス拡張セマンティックマップ
• Abstract要約: Visual Language Navigationは、インボディードエージェントが自然言語命令に従うことで複雑な環境をナビゲートできるようにすることを目的としている。 既存のシステムは、複雑な屋内環境での信頼性の高いナビゲーションを制限し、多様なユーザクエリに対して、インスタンスレベルのオブジェクトの詳細と堅牢性を欠いている。 本稿では,3つの重要なコントリビューションを持つ統合フレームワークであるインスタンス拡張セマンティックマップを提案する。
• 参考スコア（独自算出の注目度）: 9.24074870738429
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visual Language Navigation (VLN) aims to enable an embodied agent to navigate complex environments by following natural language instructions. Recent approaches build semantic spatial maps and leverage Large Language Models (LLMs) for reasoning and decision making. Despite these advances, existing systems lack instance-level object detail and robustness to diverse user queries, limiting reliable navigation in complex indoor environments. To address these limitations, we propose Instance-Enriched Semantic Maps, a unified framework with three key contributions: (1) Instance-level two-and-a-half-dimensional (2.5D) rich information mapping that constructs maps from color and depth observations via open-vocabulary panoptic segmentation, preserving vertical distinctions and capturing small objects, while storing diverse semantic attributes and natural language captions enriched with room-level context. (2) Robust query processing via LLM-based target selection, which dynamically routes queries across type-specialized experts and integrates their outputs through score-level fusion, enabling consistent goal selection across diverse query formulations. (3) Storage-efficient semantic representation that achieves approximately 96% reduction compared to three-dimensional (3D) scene-graph approaches while preserving sufficient spatial information for navigation. The proposed 2.5D representation outperforms the 3D baseline by over 27% in prediction-normalized Area Under the Curve (AUC). In navigation experiments, our method achieves over 17% improvement in object retrieval and over 23% in navigation success compared to the baseline across diverse query types. The project page is available at https://rcilab.github.io/iesm_vln.
• Abstract（参考訳）: 視覚言語ナビゲーション(VLN)は、エンボディエージェントが自然言語命令に従うことで複雑な環境をナビゲートできるようにすることを目的としている。 近年のアプローチでは,意味空間マップを構築し,大言語モデル(LLM)を推論と意思決定に活用している。 これらの進歩にもかかわらず、既存のシステムは、複雑な屋内環境での信頼性の高いナビゲーションを制限し、多様なユーザクエリに対してインスタンスレベルのオブジェクト詳細と堅牢性を欠いている。 これらの制約に対処するため,(1)ケースレベル2次元半次元(2.5D)リッチな情報マッピング,2)オープンボキャブラリ・パン光学分割による色と深さの観測から地図を構築し,垂直の区別を保存し,小さなオブジェクトをキャプチャし,多様な意味的属性と自然言語キャプションをルームレベルコンテキストで蓄積する,3つの重要な貢献点を持つ統合フレームワークであるインスタンスエンリッチセマンティックマップを提案する。 2) LLMをベースとしたターゲット選択によるロバストなクエリ処理では,タイプの専門家間で動的にクエリをルーティングし,スコアレベルの融合によってアウトプットを統合する。 3) ナビゲーションに十分な空間情報を保存しながら3次元(3次元)のシーングラフアプローチと比較して約96%の削減を実現するストレージ効率のセマンティック表現。 提案した2.5D表現は、予測正規化エリア・アンダー・ザ・カーブ(AUC)において、3Dベースラインを27%以上上回っている。 ナビゲーション実験では, 多様なクエリータイプのベースラインと比較して, オブジェクト検索が17%以上, ナビゲーションが23%以上向上した。 プロジェクトのページはhttps://rcilab.github.io/iesm_vln.comで公開されている。

関連論文リスト

• Bridging the 2D-3D Gap: A Hierarchical Semantic-Geometric Map for Vision Language Navigation [32.02017382315305]
  Vision-Language Navigation (VLN) は、エンボディエージェントが言語命令に従うことで、見えない環境でターゲットの場所に到達することを可能にする。 近年の視覚言語モデル(VLM)の進歩にもかかわらず、重要な意味幾何学的ギャップが残っている。 本稿では3次元幾何学情報をVLMと互換性のある構造化表現に変換する階層型意味幾何学マップ(HSGM)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T08:53:21Z)
• OmniVLN: Omnidirectional 3D Perception and Token-Efficient LLM Reasoning for Visual-Language Navigation across Air and Ground Platforms [33.40889181799252]
  言語誘導型エンボディナビゲーションでは、エージェントがオブジェクト参照命令を解釈し、複数の部屋を探索し、参照されたターゲットをローカライズし、それに対する信頼できる動きを実行する必要がある。 OmniVLNは、全方位3次元知覚とトークン効率の高い階層的推論を、空中と地上の両方で組み合わせたゼロショット視覚言語ナビゲーションフレームワークである。 実験により、提案した階層インタフェースは空間参照精度を77.27%から93.18%に改善し、マルチルームの乱雑な設定で累積的なプロンプトトークンを61.7%削減し、フラットで最大11.68%のナビゲーション成功率向上を実現した。
  論文  参考訳（メタデータ） (2026-03-18T04:26:30Z)
• A Multimodal Depth-Aware Method For Embodied Reference Understanding [56.30142869506262]
  Embodied Reference Understandingでは、言語命令とポインティングキューの両方に基づいて、視覚的なシーンで対象のオブジェクトを識別する必要がある。 本稿では,データ拡張,深度マップのモダリティ,深度認識決定モジュールを共同で活用する新しいERUフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T14:32:21Z)
• MLFM: Multi-Layered Feature Maps for Richer Language Understanding in Zero-Shot Semantic Navigation [25.63797039823049]
  LangNavはオープンソースのマルチオブジェクトナビゲーションデータセットで、自然言語のゴール記述がある。 MLFMは、事前訓練された視覚言語機能からクエリ可能な多層セマンティックマップを構築する。 LangNavの実験では、MLFMは最先端のゼロショットマッピングベースのナビゲーションベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-07-09T21:46:43Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• GOI: Find 3D Gaussians of Interest with an Optimizable Open-vocabulary Semantic-space Hyperplane [53.388937705785025]
  3Dオープンボキャブラリのシーン理解は、拡張現実とロボット応用の推進に不可欠である。 GOIは2次元視覚言語基礎モデルから3次元ガウススプラッティング(3DGS)に意味的特徴を統合するフレームワークである。 提案手法では,特徴空間内の超平面分割として特徴選択処理を扱い,クエリに関連性の高い特徴のみを保持する。
  論文  参考訳（メタデータ） (2024-05-27T18:57:18Z)
• Open-Set 3D Semantic Instance Maps for Vision Language Navigation -- O3D-SIM [6.475074453206891]
  人間は周囲のメンタルマップを作り、オブジェクトの関係を理解し、言語クエリに基づいてナビゲートする。 事例レベルの情報と環境の意味的理解が,言語指導タスクの性能向上に有効であることを示す。 本稿では,3次元のクラウドマップをインスタンスレベルの埋め込みで表現し,自然言語コマンドがクエリできるというセマンティック理解をもたらす。
  論文  参考訳（メタデータ） (2024-04-27T14:20:46Z)
• IVLMap: Instance-Aware Visual Language Grounding for Consumer Robot Navigation [10.006058028927907]
  VLN(Vision-and-Language Navigation)は、人間の自然言語で写実的な環境を移動させるロボットを必要とする課題である。 近年の研究では,環境の意味的な空間地図表現を構築することで,この課題に対処することを目指している。 本稿では,インスタンスレベルおよび属性レベルのセマンティックマッピングをロボットに提供するために,インスタンス対応のビジュアル言語マップ(IVLMap)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T11:52:42Z)
• Object Goal Navigation with Recursive Implicit Maps [92.6347010295396]
  対象目標ナビゲーションのための暗黙的な空間マップを提案する。 提案手法は, 挑戦的なMP3Dデータセット上での技量を著しく上回る。 我々は、実際のロボットにモデルをデプロイし、実際のシーンでオブジェクトゴールナビゲーションの結果を奨励する。
  論文  参考訳（メタデータ） (2023-08-10T14:21:33Z)
• Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation [87.52136927091712]
  我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。 高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。 より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
  論文  参考訳（メタデータ） (2022-10-14T04:23:27Z)
• Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
  視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。 ナビゲーション中に知覚を正確に記憶できるほど区画化されている。 また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
  論文  参考訳（メタデータ） (2021-03-05T03:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。