論文の概要: Robust Vision-Language Navigation with Awareness of Instruction-Execution Progress

• arxiv url: http://arxiv.org/abs/2610.13104v1
• Date: Fri, 09 Oct 2026 06:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.440819
• Title: Robust Vision-Language Navigation with Awareness of Instruction-Execution Progress
• Title（参考訳）: 指示実行の進行を意識したロバスト視覚言語ナビゲーション
• Abstract要約: Vision-Language Navigation (VLN)タスクでは、エージェントはその観察を各決定点における関連する命令内容と関連付けなければならない。 VLN-AIEP (Awareness of Instruction-Execution Progress) を用いた頑健なVLNフレームワークを提案する。 VLN-AIEPは、訪問した軌跡と命令を関連付け、実行されたコンテンツに対応する埋め込みを抑える。
• 参考スコア（独自算出の注目度）: 62.574709064069765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Vision-Language Navigation (VLN) tasks involving multi-step instructions as guidance, an agent must associate its observations with the relevant instruction content at each decision point. Most graph-based methods commonly match candidate trajectories with the entire instruction, allowing already executed content to interfere with subsequent decisions. Although instruction-execution progress provides a direct cue for separating executed and pending content, existing progress estimation approaches often rely on explicit progress supervision, sophisticated progress-learning stages, or costly online reasoning with LLMs. In this paper, we propose a robust VLN framework with Awareness of Instruction-Execution Progress (VLN-AIEP), which couples progress estimation with navigation decision-making. VLN-AIEP associates the visited trajectory with the instruction to suppress embeddings corresponding to executed content, and then matches candidate locations with the pending content. This coupling makes correct navigation decisions depend on accurate progress estimation, allowing the progress estimator to learn directly from navigation decision labels without explicit progress annotations. To support progress estimation, we construct a landmark-anchored trajectory representation that encodes the semantic labels and viewpoint-relative geometry of instruction-referred landmarks. These landmarks serve as spatial references for associating the visited trajectory with executed instruction content. Extensive experiments on R2R, RxR, CVDN, and R2R-CE demonstrate that the proposed method achieves favorable performance across multiple metrics.
• Abstract（参考訳）: 視覚言語ナビゲーション(VLN)タスクにおいて、エージェントは、その観察を各決定点における関連する命令内容と関連付けなければならない。 グラフベースのほとんどのメソッドは、一般的に候補の軌跡と命令全体とを一致させ、すでに実行されているコンテンツがその後の決定に干渉することを可能にする。 命令実行の進捗は、実行中のコンテンツと保留中のコンテンツを分離するための直接的なキューを提供するが、既存の進捗推定アプローチは、しばしば明示的な進捗監視、高度な進歩学習段階、あるいはLLMによるコストの高いオンライン推論に依存している。 本稿では,VLN-AIEP (Awareness of Instruction-Execution Progress) を用いたロバストなVLNフレームワークを提案する。 VLN-AIEPは、訪問した軌跡と命令を関連付け、実行されたコンテンツに対応する埋め込みを抑える。 この結合により、正確なナビゲーション決定は正確な進捗推定に依存するため、進捗推定器は明確な進捗アノテーションなしでナビゲーション決定ラベルから直接学習することができる。 進捗推定を支援するために,意味ラベルと指示参照ランドマークの視点相対幾何を符号化したランドマーク付き軌道表現を構築した。 これらのランドマークは、訪問した軌跡と実行された命令内容とを関連付けるための空間参照として機能する。 R2R, RxR, CVDN, R2R-CEの大規模実験により, 提案手法が複数の指標で良好な性能を発揮することを示した。

関連論文リスト

• GuidedNav: Shaping Vision-Language Navigation Representations through Pre-action Attention and Spatial Guidance [48.385321405893315]
  視覚言語ナビゲーション(VLN)は、エージェントが拡張された命令を通して進捗を追跡し、その現在の目的に関連するランドマークを特定し、行動する空間構造を理解する必要がある。 GuidedNavは、トレーニング時のガイダンスを通じて、これらの表現を明示的に形作る統合フレームワークです。 また,より解釈可能なVLN研究を支援する2つのアノテーション強化ナビゲーションデータセットである Guided-R2R と Guided-RxR も導入した。
  論文  参考訳（メタデータ） (2026-10-09T07:18:03Z)
• Goal-oriented Navigation Instruction Generation with Tour Video Priors [3.3906611506156916]
  ナビゲーション命令生成(NIG)は、ナビゲーションガイダンスのためのステップバイステップの自然言語命令を生成することを目的としている。 我々は,エゴ中心のツアービデオからナビゲーション命令を生成する,ゴール指向のビデオグラウンドNIGタスクであるVideoNIGを紹介する。 本稿では,学習を基本動作知覚と長距離ナビゲーション推論に分解する2段階のカリキュラム学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-09T09:21:47Z)
• Beyond Waypoints: A Trajectory-Centric Waypointing Paradigm for Vision-Language Navigation [79.12557132788139]
  VLN-CE(Vision-Language Navigation in Continuous Environments)では、エージェントが現実世界のような環境でナビゲートしながら自然言語の指示に従う必要がある。 ほとんどのVLN-CEアプローチでは、ウェイポイント予測器がウェイポイントを提案し、ナビゲータが最良のウェイポイントを選択する。 提案手法は,各候補の経路点を実行可能な軌道に配置する,トラジェクトリ・ウェイポイントという新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2026-06-05T13:11:39Z)
• ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation [25.420455584290465]
  ロングホライゾンのロボット操作は、タスクが手続き段階を通してどのように進行するかを反映した密集したフィードバックを必要とする。 本稿では,プログレッシブ・アウェア・ビジョン言語モデルであるProcVLMについて述べる。
  論文  参考訳（メタデータ） (2026-05-09T08:00:59Z)
• GROKE: Vision-Free Navigation Instruction Evaluation via Graph Reasoning on OpenStreetMap [2.4382430407654767]
  本稿では,OpenStreetMapデータ評価のためのビジョンフリートレーニングフレームワークであるGROKE(Graph-based Reasoning over OSM Knowledge for instruction Evaluation)を紹介する。 我々の階層アーキテクチャは、Map2Seqデータセットのサンプリングベースラインと比較して、サブインストラクション計画とトポロジカルグラフナビゲーションを組み合わせることで、ナビゲーションエラーを68.5%削減します。
  論文  参考訳（メタデータ） (2026-01-12T09:56:47Z)
• Counterfactual Cycle-Consistent Learning for Instruction Following and Generation in Vision-Language Navigation [172.15808300686584]
  本稿では,2つのタスクを同時に学習し,それぞれのトレーニングを促進するために本質的な相関性を利用するアプローチについて述べる。 提案手法は,様々な追従モデルの性能を改善し,正確なナビゲーション命令を生成する。
  論文  参考訳（メタデータ） (2022-03-30T18:15:26Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。