論文の概要: Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation

• arxiv url: http://arxiv.org/abs/2607.10744v2
• Date: Tue, 14 Jul 2026 09:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 12:51:44.62897
• Title: Traj-VLN: Learning Pixel-Space Interaction via Autoregressive Trajectory Generation
• Title（参考訳）: Traj-VLN: 自己回帰軌道生成による画素空間相互作用の学習
• Abstract要約: 本研究では,2次元画素空間におけるナビゲーション操作を直接学習するための微調整型視覚言語モデルを提案する。 我々のモデルは一連の画素座標を逐次予測し、現在の観測の中心から軌道を引いた。
• 参考スコア（独自算出の注目度）: 5.0211517769291065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benefiting from the powerful priors embedded in large-scale pre-training data and the emerging commonsense reasoning ability, large language models (LLMs) have shown unprecedented generalization capabilities in many research fields. Recently, projecting visual embeddings into the language space via vision-language models (VLMs) to achieve sim-toreal and cross-scene generalization has become a prevailing paradigm in the field of Vision-and-Language Navigation in Continuous Environments (VLN-CE). VLN requires an embodied agent to navigate through unseen environments following natural linguistic instructions. We emphasize that a VLN task can be decomposed into a sequence of sub-tasks, each corresponding to a process of 3D spatial interaction with the environments described by instructions such as "walk to the end of the sofa and turn left." However, such spatial interactions involving moving into the image along the direction of depth sensing are puzzling for VLMs as they were predominantly trained on conversations with RGB images. Rather than incorporating depth or 3D geometric information-which VLMs rarely encounter during pretrainingwe propose an alternative approach: fine-tuning VLMs to learn navigation interactions directly in 2D pixel space through autoregressive trajectory generation. Given a linguistic instruction and historical observations, our model sequentially predicts a series of pixel coordinates, drawing a trajectory from the bottom center of the current observation. While prior work has proved that pixel-goal supervision outperforms learning of discrete actions, our experiments further verify that the supervision of pixel-space trajectory significantly enhances VLN performance. Moreover, we demonstrate that our flagship model achieves state-of-the-art level performance with relatively limited computational resources and training data.
• Abstract（参考訳）: 大規模事前学習データに埋め込まれた強力な事前学習と、新たなコモンセンス推論能力から、大規模言語モデル(LLM)は、多くの研究分野において前例のない一般化能力を示している。 近年,視覚言語モデル (VLM) による言語空間への視覚埋め込みの投影が,連続環境における視覚・言語ナビゲーション (VLN-CE) の分野で広く普及している。 VLNは、自然の言語指示に従って見えない環境をナビゲートするために、エンボディエージェントを必要とする。 我々は,VLNタスクをサブタスクのシーケンスに分解することができ,それぞれが「ソファーの端まで歩いて左に曲がる」といった指示によって記述された環境と3次元空間的相互作用のプロセスに対応することを強調した。 しかし、深度感知の方向に沿って画像に移動するような空間的相互作用は、主にRGB画像との会話で訓練されたVLMにとって困惑している。 プリトレーニング中にVLMが遭遇しない深度や3次元の幾何学的情報を導入する代わりに、自動回帰軌道生成により2次元ピクセル空間でナビゲーションの相互作用を直接学習する微調整VLMを提案する。 言語学的な指導と歴史的観察から,我々のモデルは一連の画素座標を逐次予測し,現在の観測の中心から軌跡を抽出する。 従来の研究では、画素ゴールの監督が離散的な動作の学習より優れていることが証明されているが、我々の実験は、画素空間の軌跡の監督がVLN性能を著しく向上させることをさらに検証した。 さらに,我々のフラッグシップモデルが,比較的限られた計算資源と訓練データを用いて最先端の性能を実現することを示す。

関連論文リスト

• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation [43.77409401429281]
  VLA(Vision-Language-Action)モデルは、ロボット制御の可能性を秘めているが、複雑な家庭環境におけるパフォーマンスは、まだ準最適である。 モバイル操作には、グローバルなシーンレイアウト、きめ細かい形状、高次元連続的な動作の推論が必要である。 知覚と表現を強化する空間的接地型VLAモデルの学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-24T03:44:25Z)
• AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
  VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。 本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
  論文  参考訳（メタデータ） (2026-03-18T12:43:47Z)
• PROSPECT: Unified Streaming Vision-Language Navigation via Semantic--Spatial Fusion and Latent Predictive Representation [16.793561218827723]
  マルチモーダル大言語モデル(MLLM)は、高度なゼロショット・エンド・エンド・エンド・ビジョン・ランゲージナビゲーション(VLN)を持つ。 本稿では,VLA (Stream Vision-Language-Action) ポリシーと潜在予測表現学習を組み合わせた統合型ストリーミングナビゲーションエージェント PROSPECT を提案する。
  論文  参考訳（メタデータ） (2026-03-04T05:19:20Z)
• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
  本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。 我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。 その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T15:28:17Z)
• UnitedVLN: Generalizable Gaussian Splatting for Continuous Vision-Language Navigation [71.97405667493477]
  我々は,UnitedVLNと呼ばれる,新しい汎用3DGSベースの事前学習パラダイムを導入する。 エージェントは、高忠実度360度ビジュアルイメージとセマンティック特徴を統一してレンダリングすることで、将来の環境をよりよく探索することができる。 UnitedVLNは既存のVLN-CEベンチマークで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-11-25T02:44:59Z)
• Harnessing Vision-Language Pretrained Models with Temporal-Aware Adaptation for Referring Video Object Segmentation [34.37450315995176]
  現在の参照ビデオオブジェクト(RVOS)メソッドは通常、バックボーンとして独立して事前訓練された視覚と言語モデルを使用する。 画素レベルの予測に事前学習した表現を適応させる時間認識型プロンプトチューニング手法を提案する。 提案手法は最先端のアルゴリズムに対して良好に動作し,強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-17T08:14:22Z)
• GeoVLN: Learning Geometry-Enhanced Visual Representation with Slot Attention for Vision-and-Language Navigation [52.65506307440127]
  我々は,ロバストなビジュアル・アンド・ランゲージナビゲーションのためのスロットアテンションに基づく幾何学的視覚表現を学習するGeoVLNを提案する。 我々はV&L BERTを用いて言語情報と視覚情報の両方を組み込んだクロスモーダル表現を学習する。
  論文  参考訳（メタデータ） (2023-05-26T17:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。