論文の概要: Continuous Actions from Discrete Minds: Latent-Aligned Planning for End-to-End Autonomous Driving
- arxiv url: http://arxiv.org/abs/2609.04070v1
- Date: Thu, 03 Sep 2026 16:42:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.157268
- Title: Continuous Actions from Discrete Minds: Latent-Aligned Planning for End-to-End Autonomous Driving
- Title(参考訳): 離散的思考からの継続的な行動: エンドツーエンド自動運転の潜在的計画
- Abstract要約: ラプラ(LaPla)は、視覚・言語・アクション統合フレームワークで、正確な動作実行のセマンティック理解を実現する。
LaPlaは競争力のあるオープンループ性能を実現し、最先端のVLA法と比較して、L2の長い水平誤差を15.52%削減した。
- 参考スコア(独自算出の注目度): 9.355166979896115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bridging the gap between the discrete reasoning of Vision-Language Models and the continuous, physics-constrained nature of autonomous driving remains a significant challenge. In this work, we introduce LaPla, a unified Vision-Language-Action (VLA) framework featuring latent-aligned planning to seamlessly ground semantic understanding in precise motion execution. We first design an action tokenizer based on a residual vector-quantized variational autoencoder (VQ-VAE), capturing vehicle kinematics and encoding trajectory features into a structured latent space. Rather than discrete codebook lookups that inevitably introduce quantization errors, LaPla repurposes this representation as a physical prior to bridge the modality gap between high-dimensional semantics and the raw action space. Specifically, given multimodal inputs integrating multi-view images, historical actions, and textual instructions, LaPla incorporates concurrent action queries to causally attend to the multimodal context in a single forward pass, projecting hidden states directly into the pretrained VQ-VAE latent space. The frozen decoder then translates these continuous latents into actions, effectively eliminating quantization errors and ensuring physically plausible trajectories while bypassing time-consuming autoregressive generation. Extensive experiments on the nuScenes benchmark demonstrate that LaPla achieves competitive open-loop performance, reducing long-horizon L2 error by 15.52% compared to state-of-the-art VLA methods. Closed-loop evaluations on the NVIDIA AlpaSim simulator further confirm its superior capability in ensuring smooth driving progress, improving the success rate by 33.34 percentage points with significantly reduced inference latency.
- Abstract(参考訳): ビジョンランゲージモデルの離散的推論と、自律運転の連続的、物理学的に制約された性質とのギャップを埋めることは、依然として大きな課題である。
本研究では,VLA(Vision-Language-Action)フレームワークであるLaPlaを紹介する。
まず、残留ベクトル量子化変分オートエンコーダ(VQ-VAE)をベースとしたアクショントークンを設計し、車体キネマティクスを捕捉し、軌道特徴を構造化された潜在空間に符号化する。
量子化エラーを必然的に導入する離散コードブックのルックアップではなく、LaPlaは高次元のセマンティクスと生のアクション空間の間のモダリティギャップを橋渡しするために、この表現を物理として再利用する。
具体的には、マルチビューイメージ、履歴アクション、テキスト命令を統合するマルチモーダル入力が与えられた場合、LaPlaは同時アクションクエリを組み込んで、単一のフォワードパスでマルチモーダルコンテキストに因果的に対応し、予め訓練されたVQ-VAE潜在空間に直接隠れた状態を投影する。
凍結復号器は、これらの連続潜伏剤を作用に変換し、量子化誤差を効果的に排除し、時間を要する自己回帰生成をバイパスしながら物理的にもっともらしい軌道を確実にする。
nuScenesベンチマークでの大規模な実験により、LaPlaは最先端のVLA法と比較してL2の長い水平誤差を15.52%削減し、競争力のあるオープンループ性能を実現していることが示された。
NVIDIA AlpaSimシミュレータのクローズループ評価により、スムーズな運転の進行を保証し、推論遅延を著しく低減した33.34ポイントの成功率向上を実現した。
関連論文リスト
- S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving [8.813976817688605]
VLM(Vision-Language Models)は、自律運転における高レベルの推論に顕著な可能性を示している。
VLMは、個別の言語トークンと連続的な軌道計画のミスマッチによって、正確で低レベルな制御アクションを生成するのに苦労する。
本稿では,視覚・言語・行動モデルにおける意味的・空間的ストリームを明示的に分離するS-squared-VLAを提案する。
論文 参考訳(メタデータ) (2026-07-15T15:07:02Z) - AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning [13.949868529278504]
AnchorVLAは階層的な意思決定型VLA計画フレームワークである。
トラジェクトリ・パターン・アンカーを高レベルなVLA推論と連続的なトラジェクトリ実行の間の明示的なインターフェースとして使用する。
最先端の成功率77.28、競争力89.92を達成している。
論文 参考訳(メタデータ) (2026-07-03T10:38:30Z) - Long-Horizon Manipulation via Trace-Conditioned VLA Planning [55.80061850746898]
LoHo-Manipは、短い水平VLA実行を専用のタスク管理VLMを介して長い水平命令にスケールするフレームワークである。
LoHo-Manipは、サブタスクシーケンスと明示的な完了+残り分割を軽量言語メモリとして組み合わせた、進捗対応の残計画を予測する。
実行器VLAは、レンダリングされたトレースの条件に適合し、長い水平決定を繰り返しローカル制御に変換する。
論文 参考訳(メタデータ) (2026-04-23T17:59:04Z) - OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。
本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。
OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
論文 参考訳(メタデータ) (2026-04-20T16:37:22Z) - DA-PTQ: Drift-Aware Post-Training Quantization for Efficient Vision-Language-Action Models [61.26694413585136]
DA-PTQ (Drift-Aware Post-Training Quantization) は、逐次決定過程に対するドリフト-アウェア最適化問題として量子化を定式化する。
DA-PTQはキネマティックドリフトを著しく低減し、低ビット設定下での完全精度モデルに匹敵する性能を達成する。
論文 参考訳(メタデータ) (2026-04-13T14:51:43Z) - See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
本稿では,See, Plan, Rewind (SPR)について紹介する。
SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。
SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
論文 参考訳(メタデータ) (2026-03-10T07:22:51Z) - LaST$_{0}$: Latent Spatio-Temporal Chain-of-Thought for Robotic Vision-Language-Action Model [102.60980325911106]
潜在時空間連鎖(CoT)を介して行動する前に効率的に推論できるフレームワークを提案する。
具体的には,未来の視覚力学,3次元構造情報,ロボットの受容状態をモデル化したトークン効率の潜在CoT空間を導入し,時間的に一貫した暗黙的推論軌道を可能にするためにこれらの表現をさらに拡張する。
論文 参考訳(メタデータ) (2026-01-08T18:59:53Z) - ColaVLA: Leveraging Cognitive Latent Reasoning for Hierarchical Parallel Trajectory Planning in Autonomous Driving [44.008287454538596]
視覚言語モデル(VLM)は、クロスモーダルな先行とコモンセンス推論を導入することで、このパラダイムを豊かにする。
現在のVLMベースのプランナは、(i) 個別のテキスト推論と継続的制御のミスマッチ、(ii) 自己回帰的連鎖のデコーディングからの高い遅延、(iii) リアルタイムデプロイメントを制限する非効率または非因果的なプランナである。
テキストから潜在空間へ推論を転送し,それを階層的並列軌道デコーダで結合する統合視覚言語アクションフレームワークColaVLAを提案する。
論文 参考訳(メタデータ) (2025-12-28T14:06:37Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳(メタデータ) (2025-06-24T17:30:27Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2022-07-14T17:00:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。