論文の概要: Do Better Visual Representations Always Lead to Better End-to-End Autonomous Driving?
- arxiv url: http://arxiv.org/abs/2610.09695v1
- Date: Wed, 07 Oct 2026 08:54:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.813702
- Title: Do Better Visual Representations Always Lead to Better End-to-End Autonomous Driving?
- Title(参考訳): より良い視覚表現は、常にエンド・ツー・エンドの自動運転に結びつくか?
- Abstract要約: プランナーに依存しない視覚的表現アライメントフレームワークであるViRAを紹介する。
VFM誘導型視覚表現は、多様なエンド・ツー・エンド・プランナー間での駆動性能を一貫して改善する。
補助的知覚監督は、VFMターゲット選択に対する感受性を低下させる。
- 参考スコア(独自算出の注目度): 23.740536570426396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual foundation models (VFMs) are increasingly integrated into end-to-end autonomous driving for their powerful representations, yet it remains unclear when these representations improve driving performance. To investigate this question, we introduce ViRA, a planner-agnostic visual representation alignment framework that keeps the planner architecture and inference cost unchanged. Our study reveals three findings: (1) VFM-guided visual representations consistently improve driving performance across diverse end-to-end planners, with gains extending to zero-shot closed-loop evaluation. (2) The choice of VFM target matters for planning performance, and alignment to a different VFM can further benefit planners with pre-trained VFM encoders. (3) Auxiliary perception supervision reduces sensitivity to VFM target selection, narrowing the EPDMS spread across five targets from 2.7 to 0.5 points and potentially compensating for less effective VFM targets. Guided by these findings, we develop ViRA-Diffusion, a diffusion-based planner trained without auxiliary perception supervision, which achieves 92.3 EPDMS on NAVSIM v2 navtest, outperforming recent methods in our comparison by at least 1.9 points. The results motivate jointly considering target selection and planner supervision when integrating VFMs into end-to-end autonomous driving. The results and demo are available at https://github.com/OpenDriveLab/ViRA.
- Abstract(参考訳): ビジュアルファウンデーションモデル(VFM)は、強力な表現のためにエンド・ツー・エンドの自動運転にますます統合されている。
本稿では,プランナアーキテクチャと推論のコストを一定に抑えるための,プランナに依存しない視覚的アライメントアライメントフレームワークであるViRAを紹介する。
1) VFM誘導型視覚表現は多種多様なエンド・ツー・エンド・プランナ間での運転性能を一貫して改善し,ゼロショットクローズドループ評価にまで拡張する。
2) 計画性能, 異なるVFMとの整合性を目標とするVFMの選択は, 事前訓練されたVFMエンコーダによるプランナーの利益をさらに高めることができる。
(3)補助的知覚監督は、VFMターゲット選択に対する感受性を低下させ、5つのターゲットに広がるEPDMSを2.7から0.5ポイントに絞り込み、より有効なVFMターゲットを補償する可能性がある。
これらの知見に導かれて,NAVSIM v2 ナビテストで92.3 EPDMSを達成し,少なくとも1.9ポイントの精度で最近の手法よりも優れた拡散型プランナーである ViRA-Diffusion を開発した。
その結果、VFMをエンドツーエンドの自動運転に組み込む際に、目標選択とプランナーの監督を共同で検討する。
結果とデモはhttps://github.com/OpenDriveLab/ViRA.comで公開されている。
関連論文リスト
- dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning [69.36145467833498]
本稿では,拡散に基づく視覚言語モデルであるdVLM-ADを導入する。
nuScenes と WOD-E2E で評価すると、dVLM-AD はより一貫性のある推論・アクションのペアとなり、既存の駆動VLM/VLAシステムに匹敵する計画性能を達成する。
論文 参考訳(メタデータ) (2025-12-04T05:05:41Z) - RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving [10.984203470464687]
視覚言語モデル(VLM)は、空間認識の不十分さや幻覚といった限界に悩まされることが多い。
本稿では,自律走行シーンにおけるメタアクションを確実に生成するVLMの能力を高めるための,検索強化意思決定(RAD)フレームワークを提案する。
我々は,NuScenesデータセットから得られたデータセットに基づいてVLMを微調整し,その空間的知覚と鳥眼視画像理解能力を高める。
論文 参考訳(メタデータ) (2025-03-18T03:25:57Z) - LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [88.85002707211777]
LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。
我々のフレームワークはVFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出する。
このアライメントは、クロスモーダルな表現学習を促進し、2Dデータと3Dデータのセマンティック一貫性を高める。
論文 参考訳(メタデータ) (2025-01-07T18:59:59Z) - VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [17.36342349850825]
教師としての視覚言語モデル(VLM)は、追加の監督を提供することで訓練を強化する。
VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
論文 参考訳(メタデータ) (2024-12-19T01:53:36Z) - DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。
特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。
nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
論文 参考訳(メタデータ) (2024-09-15T15:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。