論文の概要: FINE: Future-Informed Navigation Encoding for Data-Efficient Vision-Language Navigation

• arxiv url: http://arxiv.org/abs/2609.32855v1
• Date: Sat, 26 Sep 2026 18:29:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:33:44.135034
• Title: FINE: Future-Informed Navigation Encoding for Data-Efficient Vision-Language Navigation
• Title（参考訳）: FINE:データ効率の良い視覚言語ナビゲーションのための将来インフォームドナビゲーション符号化
• Abstract要約: 視覚言語によるナビゲーションポリシーを新しい環境に適応させるにはコストがかかる。 標準的な観察-行動訓練では、各軌道にすでに含まれている情報のごく一部しか使用しない。 我々は、既存のデモからこの潜伏監視を抽出するFuture-Informed NavigationフレームワークであるFINEを紹介する。
• 参考スコア（独自算出の注目度）: 2.163955766285801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting vision-language navigation (VLN) policies to new environments is expensive because every additional route and instruction requires an embodied demonstration. Yet standard observation-to-action training uses only a small fraction of the information already contained in each trajectory. In particular, future observations reveal the instruction-relevant landmarks that the agent will encounter, including what they look like and how they are arranged in 3D. We introduce FINE, a Future-Informed Navigation Encoding framework that extracts this latent supervision from existing demonstrations. FINE equips a VLN backbone with two complementary auxiliary representations. First, explicit landmark tokens follow the ordered landmarks specified by the instruction and are trained to predict future landmark regions in both semantic 2D patch-feature space and viewpoint-dependent 3D geometric feature space. Second, an implicit future token learns to distinguish the landmark state that is actually reached from plausible same-scene counterfactual futures generated by a video world model. On R2R-CE and RxR-CE val-unseen, FINE improves InternVLA-N1 by 2.6 and 4.5 success-rate points, respectively, at full training data. More importantly, as demonstrations become limited, the benefit grows: at a 70% demonstration budget, FINE improves success rate by 6.8 points, recovering roughly one-third of the performance lost by reducing the training demonstrations. Project page is available at https://finevln.github.io/.
• Abstract（参考訳）: 視覚言語ナビゲーション(VLN)のポリシーを新しい環境に適用するにはコストがかかる。 しかし、標準的な観察と行動の訓練では、各軌道にすでに含まれている情報のごく一部しか使われていない。 特に、将来の観察では、エージェントがどのように見えるか、どのように3Dで配置されるかなど、エージェントが遭遇する命令関連ランドマークが明らかになる。 我々は、既存のデモからこの潜伏監視を抽出するFuture-Informed Navigation EncodingフレームワークであるFINEを紹介する。 FINEは2つの相補的な補助的表現を持つVLNバックボーンを備える。 まず、明示的なランドマークトークンは命令によって指定された順序付けられたランドマークに従い、セマンティックな2Dパッチ特徴空間と視点に依存した幾何学的特徴空間の両方において将来のランドマーク領域を予測するように訓練される。 第二に、暗黙の未来のトークンは、ビデオワールドモデルによって生成された、実証可能な同シーンの対物的未来から実際に到達したランドマーク状態の識別を学習する。 R2R-CE と RxR-CE val-unseen では、フルトレーニングデータにおいて、FINE は InternVLA-N1 を 2.6 と 4.5 で改善している。 70%のデモ予算で、FINEは成功率を6.8ポイント改善し、トレーニングのデモンストレーションを減らし、パフォーマンスのおよそ3分の1を回復する。 プロジェクトページはhttps://finevln.github.io/.comで公開されている。

関連論文リスト

• Dual-Anchoring: Addressing State Drift in Vision-Language Navigation [16.424156408535637]
  VLN(Vision-Language Navigation)は、自然言語の指示に従うことで、エージェントが3D環境をナビゲートする必要がある。 最近のビデオ大言語モデル(Video-LLMs)は、主にVLNが進歩しているが、長いシナリオではState Driftの影響を受けやすい。 本稿では,命令の進行と履歴表現を明示的にアンロックするデュアル・アンチョリング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-19T15:03:38Z)
• Move to Understand a 3D Scene: Bridging Visual Grounding and Exploration for Efficient and Versatile Embodied Navigation [54.04601077224252]
  身近なシーン理解には、視覚空間情報の理解だけでなく、3D物理世界における次の探索場所の決定も必要である。 アンダーラインテキストbf3D視覚言語学習は、エンボディエージェントが環境を効果的に探索し理解することを可能にする。 モデルの汎用性は、カテゴリ、言語記述、参照イメージなど、多様な入力モダリティを使ったナビゲーションを可能にする。
  論文  参考訳（メタデータ） (2025-07-05T14:15:52Z)
• VoxelSplat: Dynamic Gaussian Splatting as an Effective Loss for Occupancy and Flow Prediction [46.31516096522758]
  カメラによる占領予測の最近の進歩は、3Dセマンティクスとシーンフローの同時予測に焦点を当てている。 本稿では,これらの課題とその根本原因を解決するために,VoxelSplatという新たな正規化フレームワークを提案する。 本フレームワークは,ガウス運動をモデル化するために,予測されたシーンフローを用いて,移動物体のシーンフローを自己監督的に学習することができる。
  論文  参考訳（メタデータ） (2025-06-05T20:19:35Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• PointVST: Self-Supervised Pre-training for 3D Point Clouds via View-Specific Point-to-Image Translation [64.858505571083]
  本稿では,翻訳型事前学習フレームワークであるPointVSTを提案する。 3Dポイントクラウドからそれに対応する多様な2Dレンダリング画像へのクロスモーダル変換という,新たな教師付きプレテキストタスクによって駆動される。
  論文  参考訳（メタデータ） (2022-12-29T07:03:29Z)
• Self-supervised 3D Semantic Representation Learning for Vision-and-Language Navigation [30.429893959096752]
  ボクセルレベルの3Dセマンティック再構築を3Dセマンティック表現にエンコードする新しいトレーニングフレームワークを開発した。 LSTMに基づくナビゲーションモデルを構築し,提案した3Dセマンティック表現とBERT言語特徴を視覚言語ペア上で学習する。 実験の結果、提案手法は、R2Rデータセットの未確認分割とテスト未確認の検証において、成功率68%と66%を達成することがわかった。
  論文  参考訳（メタデータ） (2022-01-26T07:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。