論文の概要: SparseNav: Instruction-conditioned Sparse Semantic Perception for Training-Free Vision-Language Navigation
- arxiv url: http://arxiv.org/abs/2609.26408v1
- Date: Tue, 22 Sep 2026 13:41:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.669348
- Title: SparseNav: Instruction-conditioned Sparse Semantic Perception for Training-Free Vision-Language Navigation
- Title（参考訳）: SparseNav: 訓練自由視線言語ナビゲーションのための指導条件付きスパース意味知覚
- Abstract要約: SparseNavは、セマンティックナビゲーションのより少ない原則に従う、トレーニング不要のフレームワークである。
SparseNavは、軽量な幾何学鳥眼ビュー(BEV)マップとスパースランドマークメモリを持続的に維持する。
命令条件付きウェイポイントナビゲーションを用いて,複数の屋内環境にまたがる実効性を検証した。
- 参考スコア（独自算出の注目度）: 5.542420543782519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Map-based vision-language navigation (VLN) relies on persistent spatial representations to connect language understanding with geometric planning. However, acquiring semantics beyond the needs of the current instruction can introduce unnecessary perception cost and irrelevant annotations. Continuously accumulating unrelated objects may not only waste computation, but also clutter the visual-spatial representation consumed by the vision-language model (VLM) planner. To address this problem, we present SparseNav, a training-free framework that follows a less-is-more principle for semantic navigation. SparseNav persistently maintains a lightweight geometric bird's-eye-view (BEV) map and sparse landmark memory, acquiring new semantics on demand using the active sub-instruction to decide what is worth grounding. An instruction manager first tracks navigation progress and identifies the active landmark query. An instruction-conditioned perception mechanism then invokes open-vocabulary segmentation when the queried landmark is visible and its metric location can inform the next decision. The resulting landmark memory supports VLM selection among hybrid frontier and local directional waypoint candidates. Without any additional training, SparseNav achieves success rates of 42.8% on R2R-CE and 40.7% on RxR-CE, both on the Val-Unseen splits. Controlled ablations examine semantic perception strategies and the contributions of individual framework components. Furthermore, we successfully deployed SparseNav on a Unitree Go2 quadruped equipped with an Intel RealSense D455 RGB-D camera for geometric mapping and landmark grounding and a Livox MID-360 LiDAR for localization, without a prebuilt map. We validated its effectiveness across multiple indoor environments using instruction-conditioned waypoint navigation.
- Abstract（参考訳）: 地図に基づく視覚言語ナビゲーション(VLN)は、言語理解と幾何学的計画とを結びつけるために、永続的な空間表現に依存している。
しかし、現在の命令以上の意味を習得することは、不要な知覚コストと無関係なアノテーションをもたらす可能性がある。
無関係なオブジェクトを連続的に蓄積することは、計算を無駄にするだけでなく、視覚言語モデル(VLM)プランナーが消費する視覚空間表現を乱すこともある。
この問題に対処するため、SparseNavは、セマンティックナビゲーションのより少ない原則に従う、トレーニング不要のフレームワークである。
SparseNavは、軽量な幾何学的鳥眼ビュー(BEV)マップとスパースランドマークメモリを継続的に維持し、アクティブなサブインストラクションを使用して要求に応じて新しいセマンティクスを取得して、何が根拠となるかを決定する。
インストラクションマネージャは、まずナビゲーションの進捗を追跡し、アクティブなランドマーククエリを特定する。
指示条件付き知覚機構は、クエリされたランドマークが見え、その計量位置が次の決定を知らせるときに、オープン語彙セグメンテーションを起動する。
結果として得られたランドマークメモリは、ハイブリッドフロンティアとローカル方向のウェイポイント候補間のVLM選択をサポートする。
追加のトレーニングがなければ、SparseNavはR2R-CEで42.8%、RxR-CEで40.7%の成功率を達成した。
制御されたアブリケーションは、意味認識戦略と個々のフレームワークコンポーネントのコントリビューションについて検討する。
さらに,Intel RealSense D455 RGB-DカメラとLivox MID-360 LiDARを内蔵したUnitree Go2の4倍体上にSparseNavを配置した。
命令条件付きウェイポイントナビゲーションを用いて,複数の屋内環境にまたがる実効性を検証した。
関連論文リスト
- A Topological Representation with Object-Path Graphs for Open-Vocabulary Instance Navigation [7.489703998167536]
視覚言語ナビゲーションは、自然言語の指示や視覚的な観察を使って環境をナビゲートするエンボディエージェントを必要とする。
既存のアプローチは通常、ナビゲーションをシーケンシャルな言語誘導決定に分解するか、事前の環境知識なしでオンライン探索に依存している。
本稿では,オープン語彙意味推論とトポロジ的ナビゲーションを一体化するオブジェクトパスグラフを提案する。
論文 参考訳（メタデータ） (2026-09-21T07:01:14Z) - LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。
ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
論文 参考訳（メタデータ） (2026-08-31T15:08:53Z) - Instance-Enriched Semantic Maps for Visual Language Navigation [9.24074870738429]
Visual Language Navigationは、インボディードエージェントが自然言語命令に従うことで複雑な環境をナビゲートできるようにすることを目的としている。
既存のシステムは、複雑な屋内環境での信頼性の高いナビゲーションを制限し、多様なユーザクエリに対して、インスタンスレベルのオブジェクトの詳細と堅牢性を欠いている。
本稿では,3つの重要なコントリビューションを持つ統合フレームワークであるインスタンス拡張セマンティックマップを提案する。
論文 参考訳（メタデータ） (2026-07-14T11:09:48Z) - Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory [69.51256305550844]
PSC-AVDNは3段階のParsing-Search-Confirmation推論パイプラインを構造化空間記憶と密結合する学習自由フレームワークである。
PSC-AVDNは、トレーニング不要の設定、マッチング、あるいはいくつかの微調整されたメソッドの超越において、新しい最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2026-07-13T13:14:20Z) - SpaceVLN: A Zero-Shot Vision-and-Language Navigation Agent with Online Spatial Cognitive Memory and Reasoning [59.64305326980364]
SpaceVLNは、空間認知記憶とタスク誘導空間推論を中心に構築されたナビゲーションエージェントである。
このメモリ上に構築されたSpatial-CoTは、タスクプログレス推論と空間知覚、分析、予測を統合する。
R2R-CE、RxR-CE、GN-Bench、HM3D-OVONの他、SpaceVLNは最先端のゼロショット性能を実現している。
論文 参考訳（メタデータ） (2026-06-08T03:42:08Z) - LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation [96.09246387639006]
LookasideVLNは、より正確な空間推論とより高い計算効率を達成するために、自然言語の方向の手がかりを利用する。
LookasideVLNは、シングルレベルのルックアヘッドでも、最先端のCityNavAgentよりも大幅に優れています。
論文 参考訳（メタデータ） (2026-04-19T01:36:53Z) - FeudalNav: A Simple Framework for Visual Navigation [7.136542835931238]
ナビゲーション決定過程を複数のレベルに分解する階層的なフレームワークを開発する。
提案手法は,簡単な経路選択ネットワークを通じてサブゴールを選択することを学習する。
トレーニングや推論にオドメトリを使わずに,Habitat AI環境におけるSOTA手法のスイートによる競合結果を示す。
論文 参考訳（メタデータ） (2026-01-15T22:10:29Z) - GROKE: Vision-Free Navigation Instruction Evaluation via Graph Reasoning on OpenStreetMap [2.4382430407654767]
本稿では,OpenStreetMapデータ評価のためのビジョンフリートレーニングフレームワークであるGROKE(Graph-based Reasoning over OSM Knowledge for instruction Evaluation)を紹介する。
我々の階層アーキテクチャは、Map2Seqデータセットのサンプリングベースラインと比較して、サブインストラクション計画とトポロジカルグラフナビゲーションを組み合わせることで、ナビゲーションエラーを68.5%削減します。
論文 参考訳（メタデータ） (2026-01-12T09:56:47Z) - SkeNa: Learning to Navigate Unseen Environments Based on Abstract Hand-Drawn Maps [20.963573846962987]
我々はSketch map-based visual Navigation (SkeNa)を紹介する。
SkeNaは、手書きのスケッチマップのみをガイダンスとして、エージェントが見えない環境でゴールに到達しなければならない、具体化されたナビゲーションタスクである。
我々は,71の屋内シーンにわたる54k軌道とスケッチマップのペアからなる大規模データセットSoRを提案する。
論文 参考訳（メタデータ） (2025-08-05T03:56:32Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。