論文の概要: Exploring Bottlenecks in VLM-LLM Navigation: How 3D Scene Understanding Capability Impacts Zero-Shot VLN

• arxiv url: http://arxiv.org/abs/2605.14801v1
• Date: Thu, 14 May 2026 13:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.83559
• Title: Exploring Bottlenecks in VLM-LLM Navigation: How 3D Scene Understanding Capability Impacts Zero-Shot VLN
• Title（参考訳）: VLM-LLMナビゲーションにおけるボトルネックの探索 : ゼロショットVLNの3次元シーン理解能力への影響
• Authors: Ziyi Xia, Chaoran Xiong, Litao Wei, Xinhao Hu, Ling Pei,
• Abstract要約: ゼロショットビジョン・アンド・ランゲージナビゲーション(VLN)は、データ収集コストの最小化と固有の一般化により、大きな注目を集めている。 現行の3D知覚モデルは、厳密な計算限界と、具体化されたナビゲーションによって要求されるリアルタイム効率と直接競合する、ピクセルレベルの精度を優先している。 本稿では,VLNの性能に及ぼす3次元シーン理解能力の影響を定量化する。
• 参考スコア（独自算出の注目度）: 6.626149978783011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot vision-and-language navigation (VLN) has gained significant attention due to its minimal data collection costs and inherent generalization. This paradigm is typically driven by the integration of pre-trained Vision-Language Models (VLMs) and Large Language Models (LLMs), where VLMs construct 3D scene graphs while LLMs handle high-level reasoning and decision-making. However, a critical bottleneck exists in this system: current 3D perception models prioritize pixel-level accuracy, directly conflicting with the strict computational limits and real-time efficiency demanded by embodied navigation. To address this gap, this paper quantifies the actual impact of 3D scene understanding capability on VLN performance. Based on typical VLM-LLM frameworks, we propose statistical success rate (SR) upper bounds for two core subsystems: 1) the slow LLM planner, which relies on topological mapping semantics, and 2) the fast reactive navigator, which utilizes spatial coordinates and bounding boxes to execute LLM decisions. Evaluations using state-of-the-art 3D scene understanding models validate our proposed bounds and reveal a perception saturation phenomenon, indicating that improvements in perception accuracy beyond a certain threshold yield diminishing returns in navigation success. Our findings suggest that 3D scene understanding for VLN should pivot away from strict pixel-level precision, prioritizing instead navigation-relevant core vocabularies and accurate bounding box proportions.
• Abstract（参考訳）: ゼロショットビジョン・アンド・ランゲージナビゲーション(VLN)は、データ収集コストの最小化と固有の一般化により、大きな注目を集めている。 このパラダイムは、通常、事前訓練された視覚言語モデル(VLM)とLarge Language Models(LLM)の統合によって駆動される。 しかし、このシステムには重要なボトルネックがある: 現行の3D認識モデルは、厳密な計算限界と、具体化されたナビゲーションによって要求されるリアルタイムの効率と直接競合して、ピクセルレベルの精度を優先する。 このギャップに対処するために,本論文では,VLNの性能に対する3次元シーン理解能力の実際の影響を定量化する。 典型的なVLM-LLMフレームワークに基づいて、2つのコアサブシステムに対する統計的成功率(SR)上限を提案する。 1) トポロジカルマッピングのセマンティクスに依存する遅いLLMプランナー 2) 空間座標と境界ボックスを用いてLCM決定を行う高速反応性ナビゲータ。 現状の3Dシーン理解モデルを用いて,提案した境界を検証し,認識飽和現象を明らかにすることにより,一定の閾値収率を超える知覚精度の向上がナビゲーション成功のリターンを低下させることを示す。 以上の結果から,VLNの3次元シーン理解は厳密な画素レベルの精度から脱却し,ナビゲーション関連コア語彙と正確なバウンディングボックスの割合を優先することが示唆された。

関連論文リスト

• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• Efficient3D: A Unified Framework for Adaptive and Debiased Token Reduction in 3D MLLMs [37.792545310147965]
  本稿では,視覚的トークンプルーニングのための統合フレームワークであるEfficient3Dを提案する。 Scan2CapデータセットのCIDErは+2.57%向上した。
  論文  参考訳（メタデータ） (2026-04-03T03:32:55Z)
• AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
  VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。 本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
  論文  参考訳（メタデータ） (2026-03-18T12:43:47Z)
• S$^2$-MLLM: Boosting Spatial Reasoning Capability of MLLMs for 3D Visual Grounding with Structural Guidance [20.55536735670125]
  3Dビジュアルグラウンド(3DVG)は、自然言語記述に基づく3Dシーンにおけるオブジェクトの配置に焦点を当てている。 MLLM(Multi-modal Large Language Models)の最近の進歩は、それらを3DVGに拡張する研究の動機となっている。 S$2$-MLLMは、暗黙の空間的推論を通じてMLLMの空間的推論を強化する効率的なフレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T03:08:34Z)
• Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation [34.44214123004662]
  本稿では,差別化可能な意味的・空間的批判のための枠組みであるVLM3Dを提案する。 我々のコアコントリビューションは、VLMの「Yes or No log-odds」から派生した2言語による批判信号です。 VLM3Dは、VLMの豊かな言語によるセマンティクスと空間の理解を多種多様な3D生成パイプラインに注入する、原則的で一般的な経路を確立している。
  論文  参考訳（メタデータ） (2025-11-18T09:05:26Z)
• VLM-3D:End-to-End Vision-Language Models for Open-World 3D Perception [5.245213543721097]
  本稿では,自律走行シナリオにおける3次元幾何学的認識を可能にする最初のエンドツーエンドフレームワークであるVLM-3Dを提案する。 VLM-3Dはローランド適応(LoRA)を導入し、最小計算オーバーヘッドのタスクにVLMを効率よく適応させる。 VLM-3Dにおける関節意味・幾何学的損失が12.8%の知覚精度向上につながることを示す。
  論文  参考訳（メタデータ） (2025-08-12T16:25:27Z)
• Empowering Large Language Models with 3D Situation Awareness [84.12071023036636]
  3Dと2Dの主な違いは、3Dシーンにおける自我中心のオブザーバーの状況が変化し、異なる記述をもたらすことである。 本研究では,データ収集時の走査軌道を利用して状況認識データセットを自動的に生成する手法を提案する。 本研究では,観測者の視点の位置と方向を明示的に予測する状況接地モジュールを導入し,LLMが3次元シーンで状況記述をグラウンド化できるようにする。
  論文  参考訳（メタデータ） (2025-03-29T09:34:16Z)
• ALOcc: Adaptive Lifting-Based 3D Semantic Occupancy and Cost Volume-Based Flow Predictions [91.55655961014027]
  シーン理解には3次元セマンティック占有とフロー予測が不可欠である。 本稿では,3つの改善点を目標とした視覚ベースのフレームワークを提案する。 我々の純粋な畳み込みアーキテクチャは、セマンティック占有率とジョイントセマンティックフロー予測の両方のために、複数のベンチマーク上で新しいSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving? [66.6886931183372]
  我々は,LDMと1層線形プロジェクタを接続する3Dトークン化器として,DETR方式の3Dパーセプトロンを導入する。 その単純さにもかかわらず、Atlasは3D検出とエゴ計画の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T16:57:44Z)
• Learning from Unlabeled 3D Environments for Vision-and-Language Navigation [87.03299519917019]
  視覚言語ナビゲーション(VLN)では、自然言語の指示に従って現実的な3D環境をナビゲートするために、具体的エージェントが必要である。 我々はHM3Dから900の未ラベルの3Dビルディングから大規模VLNデータセットを自動生成することを提案する。 実験により, HM3D-AutoVLNはVLNモデルの一般化能力を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-08-24T21:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。