論文の概要: NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory
- arxiv url: http://arxiv.org/abs/2609.34969v1
- Date: Mon, 28 Sep 2026 11:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:26:31.49758
- Title: NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory
- Title（参考訳）: NavJev: アクション中心の視覚圧縮と識別アクションセマンティックメモリによる効率的な視覚言語ナビゲーション
- Abstract要約: NavJevは、オンラインナビゲーションをコンパクトなビジュアル圧縮に再構成し、軽量な型付けアクション選択を行う効率的なVLNフレームワークである。
NavJev は SR の 27.0% と SPL の 22.4% をナビゲーションステップ当たり 0.65 秒で達成し,MLLM ベースの VLN 法と比較して推論遅延とコストを大幅に削減した。
- 参考スコア（独自算出の注目度）: 30.623060272547036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent zero-shot Vision-and-Language Navigation (VLN) methods increasingly rely on multimodal large language models (MLLMs) to reason over visual observations, navigation instructions, and candidate actions. Although effective, repeatedly invoking autoregressive multimodal reasoning at every navigation step introduces substantial inference latency, limiting the responsiveness of embodied agents. We propose NavJev, an efficient VLN framework that reformulates online navigation from repeated multimodal generation into compact visual compression followed by lightweight typed action selection. Specifically, Action-Centric Visual Compression (ACVC) integrates waypoint geometry, BLIP captions, and RAM semantic tags into compact representations of candidate actions, while Discriminative Action-Semantic Memory (DASM) filters shared semantics and maintains discriminative action-specific evidence across navigation steps. Based on these representations, Jev directly performs structured probabilistic decisions over the available action set. Experiments on R2R-CE show that NavJev achieves 27.0% SR and 22.4% SPL with only 0.65 s per navigation step, while substantially reducing inference latency and cost compared with MLLM-based VLN methods. The project page is available at https://kai-sheng-caesar.github.io/NavJev/.
- Abstract（参考訳）: 近年のゼロショット・ビジョン・アンド・ランゲージ・ナビゲーション(VLN)手法は、視覚的な観察、ナビゲーション命令、および候補行動の推論にマルチモーダルな大規模言語モデル(MLLM)に依存している。
ナビゲーションステップごとに自動回帰的マルチモーダル推論を繰り返し呼び出す効果はあるものの、かなりの推論遅延が生じ、エンボディエージェントの応答性が制限される。
NavJevは,反復的なマルチモーダル生成からコンパクトな視覚的圧縮,および軽量な型付きアクション選択へとオンラインナビゲーションを再構築する,効率的なVLNフレームワークである。
具体的には、Action-Centric Visual Compression (ACVC)は、ウェイポイント幾何、BLIPキャプション、RAMセマンティックタグを候補アクションのコンパクトな表現に統合し、DASM(Distriminative Action-Semantic Memory)は共有セマンティックスをフィルタリングし、ナビゲーションステップ全体で識別アクション固有のエビデンスを維持する。
これらの表現に基づいて、Jevは利用可能なアクションセットについて構造化された確率的決定を直接実行する。
R2R-CEの実験では、NavJevのSRは27.0%、SPLは22.4%、ナビゲーションステップはわずか0.65秒である。
プロジェクトページはhttps://kai-sheng-caesar.github.io/NavJev/で公開されている。
関連論文リスト
- What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior [50.946179887746666]
本稿では,現代の視覚言語ナビゲーション(VLN)モデルの解釈可能性と操縦性について検討する。
我々は、視覚的観察、指示、視覚記憶がナビゲーション決定に因果的にどう影響するかを測定する介入ベースのメトリクスを使用する。
以上の結果から,これらのナビゲーションポリシーは全ての入力モダリティに敏感であり,単一のモダリティに依存しないことがわかった。
論文 参考訳（メタデータ） (2026-09-21T13:42:48Z) - One MLLM, One Call: Efficient Zero-Shot Vision-and-Language Navigation via Spatial-Aware Waypoints [10.32396390031609]
VLN-CE(Vision-and-Language Navigation in Continuous Environments)は、自然言語の指示に従うことで、目に見えない環境をナビゲートするために、具体化されたエージェントを必要とする。
O2C-Navは効率的なゼロショットナビゲーションフレームワークで、決定ステップ毎に1つの大きなモデルのみを呼び出します。
提案手法では,RGB画像に直接視覚的マーカーとして,学習不要な構造化されたウェイポイント生成器と,疎小かつ歴史に見合った候補ウェイポイントを投影する新しい抽象表現を導入している。
論文 参考訳（メタデータ） (2026-09-06T08:49:10Z) - LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。
ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
論文 参考訳（メタデータ） (2026-08-31T15:08:53Z) - AgenticNav: Zero-Shot Vision-and-Language Navigation as a Tool-Calling Harness [5.851139427049915]
連続環境(VLN-CE)におけるゼロショット視覚言語ナビゲーションは,近年,大規模視覚言語モデル(VLM)で実現可能になった。
本稿では,ゼロショットVLN-CEを,VLMと環境とのエージェントインタフェースとして再考する。
我々は、アクション、深さ、メモリを呼び出し可能なツールとして公開する軽量なナビゲーションハーネスであるAgenticNavを紹介します。
論文 参考訳（メタデータ） (2026-06-09T08:43:05Z) - FeudalNav: A Simple Framework for Visual Navigation [7.136542835931238]
ナビゲーション決定過程を複数のレベルに分解する階層的なフレームワークを開発する。
提案手法は,簡単な経路選択ネットワークを通じてサブゴールを選択することを学習する。
トレーニングや推論にオドメトリを使わずに,Habitat AI環境におけるSOTA手法のスイートによる競合結果を示す。
論文 参考訳（メタデータ） (2026-01-15T22:10:29Z) - NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。
近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。
本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-03-12T07:27:02Z) - Multimodal Transformer with Variable-length Memory for
Vision-and-Language Navigation [79.1669476932147]
VLN(Vision-and-Language Navigation)は、エージェントが目標位置に向かうために言語命令に従う必要があるタスクである。
近年のTransformer-based VLN法は,視覚的観察と言語指導の直接的な結びつきから大きな進歩を遂げている。
視覚的な自然言語ナビゲーションのための可変長メモリ(MTVM)を備えたマルチモーダルトランス (Multimodal Transformer) を提案する。
論文 参考訳（メタデータ） (2021-11-10T16:04:49Z) - Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。
ナビゲーション中に知覚を正確に記憶できるほど区画化されている。
また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
論文 参考訳（メタデータ） (2021-03-05T03:41:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。