論文の概要: Three-Step Nav: A Hierarchical Global-Local Planner for Zero-Shot Vision-and-Language Navigation
- arxiv url: http://arxiv.org/abs/2604.26946v1
- Date: Wed, 29 Apr 2026 17:55:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.53492
- Title: Three-Step Nav: A Hierarchical Global-Local Planner for Zero-Shot Vision-and-Language Navigation
- Title（参考訳）: Three-Step Nav: ゼロショットビジョン・ランゲージナビゲーションのための階層的グローバルローカルプランナ
- Authors: Wanrong Zheng, Yunhao Ge, Laurent Itti,
- Abstract要約: マルチモーダル大言語モデル(MLLM)は、エージェントに与えられたタスクとゴールに対して、各時点における現在のビューを評価することで、一連の動作を計画することができる。
本稿では,3段階のプロトコルを用いて,これらの障害に対処する三段階ナビを提案する。
Three-Step Navは、R2R-CEデータセットとRxR-CEデータセット上で最先端のゼロショットパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 14.750200911270374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Breakthrough progress in vision-based navigation through unknown environments has been achieved by using multimodal large language models (MLLMs). These models can plan a sequence of motions by evaluating the current view at each time step against the task and goal given to the agent. However, current zero-shot Vision-and-Language Navigation (VLN) agents powered by MLLMs still tend to drift off course, halt prematurely, and achieve low overall success rates. We propose Three-Step Nav to counteract these failures with a three-view protocol: First, "look forward" to extract global landmarks and sketch a coarse plan. Then, "look now" to align the current visual observation with the next sub-goal for fine-grained guidance. Finally, "look backward" audits the entire trajectory to correct accumulated drift before stopping. Requiring no gradient updates or task-specific fine-tuning, our planner drops into existing VLN pipelines with minimal overhead. Three-Step Nav achieves state-of-the-art zero-shot performance on the R2R-CE and RxR-CE dataset. Our code is available at https://github.com/ZoeyZheng0/3-step-Nav.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)を用いることで、未知環境における視覚ベースのナビゲーションのブレークスルーが達成されている。
これらのモデルは、エージェントに与えられたタスクとゴールに対して、各時点における現在のビューを評価することで、一連の動作を計画することができる。
しかし、MLLMを搭載した現在のゼロショットビジョン・アンド・ランゲージ・ナビゲーション(VLN)エージェントは、まだコースを外れ、早めに停止し、全体的な成功率を低くする傾向にある。
まず、グローバルなランドマークを抽出し、粗いプランをスケッチする「楽しみ」を掲げる。
次に、現在の視覚的観察を次のサブゴールと整合させ、きめ細かいガイダンスを提供する。
は、停止する前に蓄積したドリフトを修正するために全軌道を監査する。
グラデーションの更新やタスク固有の微調整を必要としないため、プランナーは最小限のオーバーヘッドで既存のVLNパイプラインにドロップします。
Three-Step Navは、R2R-CEデータセットとRxR-CEデータセット上で最先端のゼロショットパフォーマンスを達成する。
私たちのコードはhttps://github.com/ZoeyZheng0/3-step-Nav.comで公開されています。
関連論文リスト
- AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - SmartWay: Enhanced Waypoint Prediction and Backtracking for Zero-Shot Vision-and-Language Navigation [12.152477445938759]
連続環境におけるVLN(Vision-and-Language Navigation)は、制約のない3D空間をナビゲートしながら自然言語命令を解釈するエージェントを必要とする。
既存のVLN-CEフレームワークは、2段階のアプローチに依存している。
マルチモーダル大言語モデル(MLLM)に基づくナビゲータと拡張されたウェイポイント予測器を統合したゼロショットVLN-CEフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-13T05:32:57Z) - SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation [83.4599149936183]
既存のゼロショットオブジェクトナビゲーション手法は、空間的に閉じたオブジェクトのテキストでLCMをプロンプトする。
本稿では,3次元シーングラフを用いて観察されたシーンを表現することを提案する。
我々は,MP3D,HM3D,RoboTHOR環境において,SG-Navが従来のゼロショット法を10%以上のSRで上回る大規模な実験を行った。
論文 参考訳（メタデータ） (2024-10-10T17:57:19Z) - Affordances-Oriented Planning using Foundation Models for Continuous Vision-Language Navigation [64.84996994779443]
本稿では,連続視覚言語ナビゲーション(VLN)タスクのためのAffordances-Oriented Plannerを提案する。
我々のAO-Plannerは、様々な基礎モデルを統合して、アベイランス指向の低レベルな動き計画とハイレベルな意思決定を実現する。
挑戦的なR2R-CEデータセットとRxR-CEデータセットの実験は、AO-Plannerが最先端のゼロショットのパフォーマンスを達成したことを示している。
論文 参考訳（メタデータ） (2024-07-08T12:52:46Z) - ESceme: Vision-and-Language Navigation with Episodic Scene Memory [72.69189330588539]
ヴィジュアル・アンド・ランゲージ・ナビゲーション(VLN)は、現実世界のシーンで自然言語のナビゲーション指示に従う視覚エージェントをシミュレートする。
本稿では,VLNにおける情景記憶(esceme)のメカニズムについて紹介する。
論文 参考訳（メタデータ） (2023-03-02T07:42:07Z) - 1st Place Solutions for RxR-Habitat Vision-and-Language Navigation
Competition (CVPR 2022) [28.5740809300599]
連続環境における視覚・言語ナビゲーション(VLN-CE)問題に対するモジュール型計画・制御手法を提案する。
提案モデルは,候補経路予測器(CWP),履歴拡張プランナー,試行制御器の3つのモジュールから構成される。
我々のモデルは2022年のRxR-Habitatコンペティションで優勝し、NDTWおよびSRメトリクスの既存手法に比べて48%と90%の相対的な改善があった。
論文 参考訳（メタデータ） (2022-06-23T10:36:53Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。