論文の概要: Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
- arxiv url: http://arxiv.org/abs/2609.33097v1
- Date: Sun, 27 Sep 2026 02:08:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:31:56.630317
- Title: Query, Align, and Distill: Navigation-Aware Cross-Modal Interaction for Efficient Vision-and-Language Navigation
- Title(参考訳): クェリ,アライン,ディスティル:視覚・言語ナビゲーションのためのナビゲーション・アウェア・クロスモーダルインタラクション
- Abstract要約: ナビゲーションエビデンスを明確かつ圧縮可能な,高性能な教師を構築する。
私たちは、出席する場所と何をすべきかを移すことで、コンパクトな学生を訓練します。
標準VLNベンチマークの実験では、我々の学生は教師のナビゲーション性能とほぼ一致し、教師と比較してパラメータの数を93.65%削減した。
- 参考スコア(独自算出の注目度): 17.30435908734861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent large-scale Vision-and-Language Navigation (VLN) models deliver strong accuracy but remain costly to deploy due to their large parameter counts and computational requirements. We tackle efficient VLN in two steps. First, we build a high-performing teacher that makes navigation evidence selection explicit and compressible. The teacher introduces a small set of learnable query slots to extract global and local action-sufficient navigable evidence from panoramic observations via a Navigable Query Generator, then progressively grounds these evidence tokens to the instruction with an Instruction-Query Aligner for policy prediction. Second, using this explicit query bottleneck as a distillation interface, we train a compact student by transferring both where to attend and what to do. We distill the teacher's global and local navigable queries with a navigation-aware token-adaptive objective, then further match action distributions during fine-tuning. Experiments on standard VLN benchmarks demonstrate that our student nearly matches the teacher's navigation performance while reducing the number of parameters by 93.65% compared to the teacher.
- Abstract(参考訳): 最近の大規模ビジョン・アンド・ランゲージ・ナビゲーション(VLN)モデルは、高い精度を提供するが、大きなパラメータ数と計算要求のため、デプロイにはコストがかかる。
2つのステップで効率的なVLNに取り組む。
まず,ナビゲーションエビデンスの選択を明示的かつ圧縮可能な高性能な教師を構築する。
教師は、Navigable Query Generatorを介してパノラマ観測から、グローバルかつ局所的なアクションに十分なナビゲート可能なエビデンスを抽出するために、学習可能なクエリスロットの小さなセットを導入し、その後、ポリシー予測のためにインストラクションクエリ・アリグナーを使って、これらのエビデンストークンをインストラクションに徐々に基礎づける。
第二に、この明示的なクエリボトルネックを蒸留インターフェースとして使用し、どこに出席すべきか、何をすべきかを移すことで、コンパクトな学生を訓練する。
教師のグローバルかつローカルなナビゲート可能なクエリをナビゲーション対応のトークン適応目的で蒸留し,さらに微調整時の行動分布に適合させる。
標準VLNベンチマークの実験では、我々の学生は教師のナビゲーション性能とほぼ一致し、教師と比較してパラメータの数を93.65%削減した。
関連論文リスト
- Goal-oriented Navigation Instruction Generation with Tour Video Priors [3.3906611506156916]
ナビゲーション命令生成(NIG)は、ナビゲーションガイダンスのためのステップバイステップの自然言語命令を生成することを目的としている。
我々は,エゴ中心のツアービデオからナビゲーション命令を生成する,ゴール指向のビデオグラウンドNIGタスクであるVideoNIGを紹介する。
本稿では,学習を基本動作知覚と長距離ナビゲーション推論に分解する2段階のカリキュラム学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-09T09:21:47Z) - VL-LN Bench: Towards Long-horizon Goal-oriented Navigation with Active Dialogs [51.18508300818979]
Vision Language-Language Navigation (VL-LN)ベンチマークは、ダイアログ対応ナビゲーションモデルのトレーニングと評価のための大規模で自動生成されたデータセットを提供する。
VL−LNは、トレーニング用41k以上の長軸ダイアログ拡張軌道と、エージェントクエリに応答可能なオラクルを備えた自動評価プロトコルとを備える。
論文 参考訳(メタデータ) (2025-12-26T19:00:12Z) - EvolveNav: Empowering LLM-Based Vision-Language Navigation via Self-Improving Embodied Reasoning [145.32076310071434]
EvolveNavは,適応的かつ一般化可能なナビゲーション推論を実現するための,新しい具体的推論パラダイムである。
EvolveNav は,(1) 形式化された CoT 監督ファインチューニング,(2) モデルが自己富化 CoT ラベルとして独自の推論出力で反復的に訓練され,監督の多様性を高めるために,モデルのナビゲーション推論能力を最初に活性化し,同時に推論速度を向上させるための形式化された CoT ラベルを用いてモデルを訓練する。
論文 参考訳(メタデータ) (2025-06-02T11:28:32Z) - Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks [24.690910258151693]
既存のボディードナビゲーションのモデルは、現実の世界で実践的なジェネラリストとして機能するには足りていない。
多様な具体的ナビゲーションタスクを統合するために設計された,ビデオベースの視覚言語アクションモデルであるUni-NaVidを提案する。
Uni-NaVidは、一般的に使われているすべてのナビゲーションタスクの入力および出力データ構成によってこれを達成している。
論文 参考訳(メタデータ) (2024-12-09T05:55:55Z) - NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [97.88246428240872]
Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。
近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。
本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
論文 参考訳(メタデータ) (2024-03-12T07:27:02Z) - ULN: Towards Underspecified Vision-and-Language Navigation [77.81257404252132]
Underspecificified Vision-and-Language Navigation (ULN)は、視覚・言語ナビゲーション(VLN)のための新しい設定である
本稿では,分類モジュール,ナビゲーションエージェント,エクスプロイテーション・ツー・エクスプロレーション(E2E)モジュールで構成されるVLNフレームワークを提案する。
我々のフレームワークはより堅牢で、ULNのベースラインを全レベルの相対的な成功率で10%上回る。
論文 参考訳(メタデータ) (2022-10-18T17:45:06Z) - Using Deep Reinforcement Learning with Automatic Curriculum earning for
Mapless Navigation in Intralogistics [0.7633618497843278]
本稿では,倉庫シナリオにおけるマップレスナビゲーション問題を解決するための深層強化学習手法を提案する。
自動誘導車両は、LiDARと前頭RGBセンサーを備え、目標のドームの下に到達することを学ぶ。
NavACL-Qは、学習プロセス全体を大幅に促進し、事前訓練された特徴抽出器は、トレーニング速度を顕著に向上させる。
論文 参考訳(メタデータ) (2022-02-23T13:50:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。