論文の概要: One MLLM, One Call: Efficient Zero-Shot Vision-and-Language Navigation via Spatial-Aware Waypoints
- arxiv url: http://arxiv.org/abs/2609.06476v1
- Date: Sun, 06 Sep 2026 08:49:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.255553
- Title: One MLLM, One Call: Efficient Zero-Shot Vision-and-Language Navigation via Spatial-Aware Waypoints
- Title（参考訳）: 1つのMLLM, 1つのコール:空間認識による効率的なゼロショットビジョンとランゲージナビゲーション
- Abstract要約: VLN-CE(Vision-and-Language Navigation in Continuous Environments)は、自然言語の指示に従うことで、目に見えない環境をナビゲートするために、具体化されたエージェントを必要とする。
O2C-Navは効率的なゼロショットナビゲーションフレームワークで、決定ステップ毎に1つの大きなモデルのみを呼び出します。
提案手法では,RGB画像に直接視覚的マーカーとして,学習不要な構造化されたウェイポイント生成器と,疎小かつ歴史に見合った候補ウェイポイントを投影する新しい抽象表現を導入している。
- 参考スコア（独自算出の注目度）: 10.32396390031609
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision-and-Language Navigation in Continuous Environments (VLN-CE) requires an embodied agent to navigate unseen environments by following natural language instructions. Current zero-shot VLN-CE methods either rely on pre-trained waypoint predictors or require multiple queries to large models per step. To address prohibitive inference latency and computational overhead, we propose O2C-Nav, an efficient zero-shot navigation framework that calls only a single large model once per decision step. Our approach introduces a training-free structured waypoint generator and a novel abstract representation that projects sparse, history-aware candidate waypoints directly onto RGB images as visual markers. The MLLM selects a waypoint or generates a fallback target bounding box at each step, while a low-level Fast Marching Method (FMM) planner converts the selected target into an executable collision-free path. This paradigm provides the model with concrete spatial perception and explicit memory while significantly reducing the visual processing load. Extensive evaluations on the R2R-CE and RxR-CE benchmarks demonstrate that O2C-Nav outperforms current state-of-the-art zero-shot methods, highlighting its great potential for real-time robotic deployment. Code is available at https://github.com/kkpsq/O2C-Nav-Code.
- Abstract（参考訳）: VLN-CE(Vision-and-Language Navigation in Continuous Environments)は、自然言語の指示に従うことで、目に見えない環境をナビゲートするために、具体化されたエージェントを必要とする。
現在のゼロショットVLN-CEメソッドは、事前訓練されたウェイポイント予測器に依存するか、ステップ毎に大きなモデルに複数のクエリを必要とする。
提案するO2C-Navは,決定ステップ毎に1つの大きなモデルしか呼ばない,効率的なゼロショットナビゲーションフレームワークである。
提案手法では,RGB画像に視覚的マーカーとして,学習不要な構造化されたウェイポイント生成器と,疎結合で履歴を意識した候補ウェイポイントを直接投影する新しい抽象表現を導入している。
MLLMは各ステップ毎にウェイポイントを選択したり、フォールバック目標バウンディングボックスを生成し、低レベル高速マーチング方法(FMM)プランナーは、選択したターゲットを無衝突経路に変換する。
このパラダイムは、ビジュアル処理の負荷を大幅に低減しつつ、具体的な空間認識と明示的なメモリを備えたモデルを提供する。
R2R-CEとRxR-CEのベンチマークによる大規模な評価は、O2C-Navが現在の最先端のゼロショットメソッドよりも優れており、リアルタイムのロボット展開におけるその大きな可能性を強調していることを示している。
コードはhttps://github.com/kkpsq/O2C-Nav-Codeで入手できる。
関連論文リスト
- LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。
ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
論文 参考訳（メタデータ） (2026-08-31T15:08:53Z) - Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation [68.02899606570223]
本稿では,効率的なエンボディナビゲーションのための統合フレームワークであるTAMP-Navを提案する。
まず、ナビゲーションを2次元の視覚座標に再構成するPixel-to-3D Action Formulation(Point)を導入する。
次に,Selective Reasoning and Anchor-Trajectory Memory Mechanism (Think and Memorize)を提案する。
論文 参考訳（メタデータ） (2026-08-18T08:37:08Z) - GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model [7.161190526180227]
本稿では,凍結したマルチモーダル大言語モデルに適応するビジュアルロボットナビゲーションポリシーであるGemNavを紹介する。
単一の8.7時間のオープンコーパスでは、競合するトレーニングセットよりも約3桁小さく、ゼロショットは物理的に異なる4つの環境に転送される。
短い画像履歴の条件付けはオフラインのメトリクスを改善するが、ロボットの利点は得られない。
論文 参考訳（メタデータ） (2026-07-08T00:46:57Z) - AgenticNav: Zero-Shot Vision-and-Language Navigation as a Tool-Calling Harness [5.851139427049915]
連続環境(VLN-CE)におけるゼロショット視覚言語ナビゲーションは,近年,大規模視覚言語モデル(VLM)で実現可能になった。
本稿では,ゼロショットVLN-CEを,VLMと環境とのエージェントインタフェースとして再考する。
我々は、アクション、深さ、メモリを呼び出し可能なツールとして公開する軽量なナビゲーションハーネスであるAgenticNavを紹介します。
論文 参考訳（メタデータ） (2026-06-09T08:43:05Z) - ReasonNavi: Human-Inspired Global Map Reasoning for Zero-Shot Embodied Navigation [53.95797153529148]
身体的エージェントは、主に部分的な自我中心の観測に依存するため、効率的なナビゲーションに苦しむことが多い。
本稿では,マルチモーダル大規模言語モデル(MLLM)と決定論的プランナを結合することにより,この理由に基づくパラダイムを運用する,人間にインスパイアされたフレームワークであるReasonNaviを紹介する。
論文 参考訳（メタデータ） (2026-01-26T19:09:20Z) - Fast-SmartWay: Panoramic-Free End-to-End Zero-Shot Vision-and-Language Navigation [16.632191523127865]
Fast-SmartWayは、パノラマビューやウェイポイント予測不要なエンドツーエンドのゼロショットVLN-CEフレームワークである。
提案手法では,3つの正面RGB-D画像と自然言語命令を組み合わせるだけで,MLLMが直接行動を予測することができる。
論文 参考訳（メタデータ） (2025-11-02T13:21:54Z) - VLN-Zero: Rapid Exploration and Cache-Enabled Neurosymbolic Vision-Language Planning for Zero-Shot Transfer in Robot Navigation [52.00474922315126]
未確認環境のための視覚言語ナビゲーションフレームワークであるVLN-Zeroを提案する。
我々は視覚言語モデルを用いて、記号的なシーングラフを効率的に構築し、ゼロショットのニューロシンボリックナビゲーションを可能にする。
VLN-Zeroは、最先端のゼロショットモデルと比べて2倍の成功率を獲得し、最も微調整されたベースラインを上回り、半分の時間でゴール地点に達する。
論文 参考訳（メタデータ） (2025-09-23T03:23:03Z) - DAgger Diffusion Navigation: DAgger Boosted Diffusion Policy for Vision-Language Navigation [73.80968452950854]
Vision-Language Navigation in Continuous Environments (VLN-CE) は、エージェントが自由形式の3D空間を通して自然言語の指示に従う必要がある。
既存のVLN-CEアプローチは通常、2段階のウェイポイント計画フレームワークを使用する。
本稿では,エンドツーエンド最適化VLN-CEポリシとしてDAgger Diffusion Navigation (DifNav)を提案する。
論文 参考訳（メタデータ） (2025-08-13T02:51:43Z) - SmartWay: Enhanced Waypoint Prediction and Backtracking for Zero-Shot Vision-and-Language Navigation [12.152477445938759]
連続環境におけるVLN(Vision-and-Language Navigation)は、制約のない3D空間をナビゲートしながら自然言語命令を解釈するエージェントを必要とする。
既存のVLN-CEフレームワークは、2段階のアプローチに依存している。
マルチモーダル大言語モデル(MLLM)に基づくナビゲータと拡張されたウェイポイント予測器を統合したゼロショットVLN-CEフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-13T05:32:57Z) - NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。
近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。
本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-03-12T07:27:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。