論文の概要: Teaching Vision-Language-Action Models What to See and Where to Look

• arxiv url: http://arxiv.org/abs/2607.01658v1
• Date: Thu, 02 Jul 2026 03:34:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.652414
• Title: Teaching Vision-Language-Action Models What to See and Where to Look
• Title（参考訳）: 視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線・視線
• Abstract要約: VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転において有望なパラダイムとして登場した。 DriveTeach-VLAは,VLAに何を見るか,どこで見るかを明示的に教えるフレームワークである。
• 参考スコア（独自算出の注目度）: 40.70324197562915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have emerged as a promising paradigm for end-to-end autonomous driving. However, existing VLAs' training relies heavily on text-centric visual question answering and chain-of-thought reasoning data, which emphasizes linguistic reasoning rather than action-grounded planning. As a result, the learned representations capture semantic knowledge but lack spatial dependencies crucial for reliable trajectory prediction. We propose DriveTeach-VLA, a framework that explicitly teaches VLAs what to see and where to look. Driving-aware Vision Distillation (DVD) injects driving-specific perceptual priors into the vision encoder, while 2D Trajectory-Guided Prompts (2D-TGP) provide spatial conditioning aligned with feasible driving trajectories. Together, they form a vision-guided learning pipeline: what to see (DVD pretraining) - where to look (TGP-guided SFT) - how to act (TGP-guided GRPO). DriveTeach-VLA achieves the state-of-the-art performance on NAVSIM and nuScenes. Our code is available at: https://github.com/ShivaTeam/DriveTeach-VLA.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転において有望なパラダイムとして登場した。 しかし、既存のVLAのトレーニングはテキスト中心の視覚的質問応答と連鎖推論データに大きく依存している。 その結果、学習した表現は意味的知識を捉えるが、信頼性の高い軌道予測には空間的依存が欠如している。 DriveTeach-VLAは,VLAに何を見るか,どこで見るかを明示的に教えるフレームワークである。 ドライビング・アウェア・ビジョン蒸留(DVD)は、視覚エンコーダに駆動固有の知覚前兆を注入する一方、2Dトラジェクトリガイドプロンプット(2D-TGP)は、実現可能な駆動軌跡に整合した空間条件付けを提供する。 同時に、視覚誘導学習パイプライン(DVD事前学習) - 見える場所(TGP誘導SFT) - 行動の仕方(TGP誘導GRPO) - を形成する。 DriveTeach-VLAはNAVSIMとnuScenesで最先端のパフォーマンスを実現する。 私たちのコードは、https://github.com/ShivaTeam/DriveTeach-VLAで利用可能です。

関連論文リスト

• Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving [68.31544904268218]
  Qwen-Drive-1.0は、自動運転のためのビジョン言語基盤モデルに向けた最初のステップである。 Qwen-Drive-1.0は、事前訓練された視覚言語モデル(VLM)のアーキテクチャを保持し、統合されたフレームワーク内に3D知覚、視覚的質問応答、モーションプランニングを統合する。
  論文  参考訳（メタデータ） (2026-08-31T17:59:54Z)
• DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model [22.06522773748522]
  本稿では,大規模なVLMバックボーン上に構築されたDriveStack-VLAについて紹介する。 VLA駆動の空間的接地を強化するために,デュアルビジュアル・モデリング・コンポーネントを開発した。 DriveStack-VLAはNAVSIMv1で91.6 PDMS、NAVSIMv2で91.0S、クローズドループのBench2Driveで56.36%の成功率で79.49を記録した。
  論文  参考訳（メタデータ） (2026-06-23T01:40:54Z)
• AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
  VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。 本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。 提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T17:58:26Z)
• LVDrive: Latent Visual Representation Enhanced Vision-Language-Action Autonomous Driving Model [16.87741001074065]
  VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転のための有望なフレームワークとして登場した。 近年、世界モデリングによる濃密な視覚監視を取り入れようとする試みは、しばしばピクセルレベルの画像再構成を過度に強調している。 自律運転のための遅延視覚表現拡張VLAフレームワークであるLVDriveを提案する。
  論文  参考訳（メタデータ） (2026-05-21T07:31:49Z)
• AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
  視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。 無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。 本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
  論文  参考訳（メタデータ） (2026-02-10T11:08:07Z)
• Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future [125.92052530850425]
  VLA(Vision-Language-Action)フレームワークは、認識と言語に基づく意思決定を統合する。 VLAフレームワークは、より解釈可能で、一般化可能で、人間に準拠した運転ポリシーへの道筋を提供する。 この研究は、人間と互換性のある自動運転システムを構築するための一貫性のある基盤を確立することを目的としている。
  論文  参考訳（メタデータ） (2025-12-18T16:57:44Z)
• OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model [24.90085777003393]
  エンド・ツー・エンドの自動運転用に設計されたビジョン・ランゲージ・アクション(VLA)モデルであるOpenDriveVLAを提案する。 OpenDriveVLAは、オープンソースのトレーニング済みの大型ビジョンランゲージモデル(VLM)上に構築され、信頼性の高い駆動アクションを生成する。
  論文  参考訳（メタデータ） (2025-03-30T14:45:54Z)
• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving [20.33096710167997]
  GPVLという名前の3次元言語事前学習モデルによる生成計画がエンドツーエンドの自動運転のために提案されている。 クロスモーダル言語モデルを導入し、総合的な駆動決定と微粒な軌跡を生成する。 GPVLの効果的で堅牢で効率的な性能は、将来の自動運転システムの実用化に不可欠であると考えられている。
  論文  参考訳（メタデータ） (2025-01-15T15:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。