論文の概要: Less Language, More Latents: Annotation-Efficient VLAs for Driving
- arxiv url: http://arxiv.org/abs/2609.27747v1
- Date: Wed, 23 Sep 2026 12:00:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.007579
- Title: Less Language, More Latents: Annotation-Efficient VLAs for Driving
- Title(参考訳): より少ない言語、より遅れ: 運転に効果的な注釈付きVLA
- Abstract要約: 本稿では,Latent Action Driving jectors (LADA) について紹介する。
まず,ベクトル量子化ボトルネックを持つ潜在動作モデルを訓練し,高レベル車両意図のコンパクトなコードブックを作成する。
第二に、小さな言語アノテートされたサブセットを使用して、観察と言語命令をこのコードブックにマッピングする視覚言語トランスレータを訓練する。
第3に、フルラベリングコーパス上での観察-反応対の駆動VLAを訓練する。
- 参考スコア(独自算出の注目度): 18.817106518249606
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision-language-action models (VLA) promise human-steerable autonomous driving, but their training is bottlenecked by the scarcity of frames paired with natural-language instructions: while camera streams and expert trajectories are logged at scale, language annotations (e.g., turn left at the intersection) remain scarce and expensive to acquire. To address this challenge, we introduce Latent Action Driving Annotations (LADA), a three-stage pipeline that transforms abundant unlabelled observation-trajectory pairs into a substrate for language-conditioned control. First, we train a latent action model with a vector-quantised bottleneck, producing a compact codebook of high-level vehicle intents. Second, a small language-annotated subset is used to train a vision-language translator to map observations and language instructions into this codebook. Third, we train a driving VLA on observation-latent-action pairs over the full unlabelled corpus. Using fewer than 5% of language annotations and without leveraging any auxiliary chain-of-thought reasoning or visual question answering streams, LADA achieves a Driving Score of 87.98 and a Success Rate of 70.46% on the closed-loop Bench2Drive benchmark, matching or surpassing fully supervised baselines.
- Abstract(参考訳): ビジョン・ランゲージ・アクション・モデル(VLA)は、人間の操縦可能な自動運転を約束するが、それらのトレーニングは、自然言語の指示と組み合わせたフレームの不足によってボトルネックとなる。
この課題に対処するために,Latent Action Driving Annotations (LADA) という3段階のパイプラインを導入する。
まず,ベクトル量子化ボトルネックを持つ潜在動作モデルを訓練し,高レベル車両意図のコンパクトなコードブックを作成する。
第二に、小さな言語アノテートされたサブセットを使用して、観察と言語命令をこのコードブックにマッピングする視覚言語トランスレータを訓練する。
第3に、フル・ラベリング・コーパス上での観察-反応対の駆動型VLAを訓練する。
LADAは5%未満の言語アノテーションを使用し、補助的な連鎖推論や視覚的質問応答ストリームを使わずに、クローズループのBench2Driveベンチマークで87.98のドライビングスコアと70.46%の成功率を達成した。
関連論文リスト
- Rethinking Language's Role in Efficient VLA for Autonomous Vehicles: Toward Smarter, Trustworthy Driving [8.920589816043298]
Vision-Language-Action(VLA)モデルが自動走行(AD)を改造
レイテンシとメモリの予算は厳しく、自動回帰デコーディングは本質的にシーケンシャルです。
この作業は、トレーニングコストが1回だけ支払われる間に、デプロイされたフレーム毎に推論コストが再帰するため、言語がいつ、いつ、どこで振る舞うべきかという中心的な疑問を再考する。
論文 参考訳(メタデータ) (2026-08-31T01:51:51Z) - BLUE: Toward Better Language Use in Efficient Vision-Language-Action Models for Autonomous Driving [18.22380132296319]
自律運転(AD)のための視覚行動モデル(VLA)における言語使用の最小化法であるBLUEを提案する。
言語は少数のルートでのみ重要であるが、それらのルートでは性能を大幅に向上または劣化させる可能性がある。
凍結したVLA隠れ状態の軽量ゲートをトレーニングし、各フレーム毎に言語生成を活性化するか、直接アクションを予測するかを決定する。
論文 参考訳(メタデータ) (2026-06-07T15:37:16Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳(メタデータ) (2026-05-24T06:28:53Z) - VECTOR-Drive: Tightly Coupled Vision-Language and Trajectory Expert Routing for End-to-End Autonomous Driving [10.83468363371212]
エンドツーエンドの自動運転は、交通シーンを理解し、運転意図を推測し、実行可能な動作計画を生成するモデルを必要とする。
本稿では,Qwen2.5-VL-3B上に構築された密結合型視覚言語アクションフレームワークであるVECTOR-DRIVEを提案する。
Bench2Driveでは、VECTOR-DRIVEは88.91のドライビングスコアを獲得し、代表的なエンドツーエンドとVLAベースのベースラインを上回っている。
論文 参考訳(メタデータ) (2026-05-09T09:34:50Z) - OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。
本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。
OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
論文 参考訳(メタデータ) (2026-04-20T16:37:22Z) - Unifying Language-Action Understanding and Generation for Autonomous Driving [25.23561391638388]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転において有望なパラダイムとして浮上している。
既存の手法には、言語命令とアクションアウトプットの永続的なミスアライメントと、典型的な自己回帰行動生成の非効率性という2つの重要な制限がある。
LinkVLAは、これらの課題に直接対処し、アライメントと効率の両方を強化する新しいアーキテクチャです。
論文 参考訳(メタデータ) (2026-03-02T04:41:10Z) - Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future [125.92052530850425]
VLA(Vision-Language-Action)フレームワークは、認識と言語に基づく意思決定を統合する。
VLAフレームワークは、より解釈可能で、一般化可能で、人間に準拠した運転ポリシーへの道筋を提供する。
この研究は、人間と互換性のある自動運転システムを構築するための一貫性のある基盤を確立することを目的としている。
論文 参考訳(メタデータ) (2025-12-18T16:57:44Z) - MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning [51.20229133553804]
自律運転における現在のビジョン・ランゲージ・アクション(VLA)パラダイムは主に模倣学習(IL)に依存している
オンライン強化学習は、トライアル・アンド・エラー学習を通じてこれらの問題に対処するための有望な経路を提供する。
大規模言語モデル(LLM)と2つの異なるLoRAパラメータからなるVLAフレームワークであるMindDriveを提案する。
軌道レベルの報酬を推論空間に戻すことで、MindDriveは、限定的な言語駆動決定の有限セットに対する試行錯誤学習を可能にする。
論文 参考訳(メタデータ) (2025-12-15T18:31:32Z) - SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment [15.223886922912842]
本研究では,(1)クローズドループ駆動,(2)視覚言語理解,(3)言語行動アライメントの3つのタスクを処理できるモデルを提案する。
我々のモデルSimLingoは視覚言語モデル(VLM)に基づいており、LiDARのような高価なセンサーを除いて、カメラのみを使用します。
論文 参考訳(メタデータ) (2025-03-12T17:58:06Z) - VECO 2.0: Cross-lingual Language Model Pre-training with
Multi-granularity Contrastive Learning [56.47303426167584]
複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。
具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。
トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
論文 参考訳(メタデータ) (2023-04-17T12:23:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。