論文の概要: VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision

• arxiv url: http://arxiv.org/abs/2412.14446v1
• Date: Thu, 19 Dec 2024 01:53:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 18:44:15.948131
• Title: VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision
• Title（参考訳）: VLM-AD:ビジョンランゲージモデルによるエンドツーエンド自動運転
• Authors: Yi Xu, Yuxin Hu, Zaiwei Zhang, Gregory P. Meyer, Siva Karthik Mustikovela, Siddhartha Srinivasa, Eric M. Wolff, Xin Huang,
• Abstract要約: 教師としての視覚言語モデル(VLM)。 VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 20.43366384946928
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Human drivers rely on commonsense reasoning to navigate diverse and dynamic real-world scenarios. Existing end-to-end (E2E) autonomous driving (AD) models are typically optimized to mimic driving patterns observed in data, without capturing the underlying reasoning processes. This limitation constrains their ability to handle challenging driving scenarios. To close this gap, we propose VLM-AD, a method that leverages vision-language models (VLMs) as teachers to enhance training by providing additional supervision that incorporates unstructured reasoning information and structured action labels. Such supervision enhances the model's ability to learn richer feature representations that capture the rationale behind driving patterns. Importantly, our method does not require a VLM during inference, making it practical for real-time deployment. When integrated with state-of-the-art methods, VLM-AD achieves significant improvements in planning accuracy and reduced collision rates on the nuScenes dataset.
• Abstract（参考訳）: ヒューマンドライバは、多様で動的な現実のシナリオをナビゲートするために、常識推論に依存する。 既存のエンドツーエンド(E2E)自律運転(AD)モデルは通常、基礎となる推論プロセスを捉えることなく、データで観察される駆動パターンを模倣するように最適化されている。 この制限は、挑戦的な運転シナリオを扱う能力を制限する。 このギャップを埋めるために,教師として視覚言語モデル(VLM)を活用する手法であるVLM-ADを提案する。 このような監督は、駆動パターンの背後にある理論的根拠を捉えたよりリッチな特徴表現を学習する能力を高める。 重要なこととして,本手法は推論中にVLMを必要としないため,リアルタイムデプロイメントに有効である。 最先端の手法と統合すると、VLM-ADは、nuScenesデータセット上での計画精度と衝突率の大幅な改善を実現する。

関連論文リスト

• VLAD: A VLM-Augmented Autonomous Driving Framework with Hierarchical Planning and Interpretable Decision Process [40.3578745624081]
  本稿では,VLM(Visual Language Models)を最先端のエンドツーエンドシステムと統合した視覚言語自律運転モデルを提案する。 モデルの空間的推論能力を改善するために特別に設計された質問応答データセットを用いて、特殊な微調整手法を実装した。 本システムは,従来のブラックボックス・エンド・ツー・エンドアーキテクチャの透明性と信頼性を高めるために,運転決定の解釈可能な自然言語説明を生成する。
  論文  参考訳（メタデータ） (2025-07-02T01:52:40Z)
• AutoVLA: A Vision-Language-Action Model for End-to-End Autonomous Driving with Adaptive Reasoning and Reinforcement Fine-Tuning [42.409352964719204]
  Vision-Language-Action(VLA)モデルは、エンドツーエンドの自動運転を約束している。 現在のVLAモデルは、物理的に実現不可能なアクション出力、複雑なモデル構造、あるいは不要に長い推論に苦しむ。 本稿では,単一自己回帰生成モデル内での推論と行動生成を統一する新しいVLAモデルであるAutoVLAを提案する。
  論文  参考訳（メタデータ） (2025-06-16T17:58:50Z)
• ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [35.493857028919685]
  本研究では,視覚言語モデルと拡散プランナを統合した自律運転システムReCogDriveを提案する。 本稿では,大規模運転質問応答データセットを用いてVLMの訓練を行い,汎用コンテンツと実世界の運転シナリオとのドメイン差を緩和する。 第2段階では、拡散型プランナーを用いて模倣学習を行い、潜在言語空間から連続運転行動への表現をマッピングする。
  論文  参考訳（メタデータ） (2025-06-09T03:14:04Z)
• SOLVE: Synergy of Language-Vision and End-to-End Networks for Autonomous Driving [51.47621083057114]
  SOLVEは、ビジョンランゲージモデルとエンド・ツー・エンド(E2E)モデルを相乗化して自動運転車の計画を強化する革新的なフレームワークである。 提案手法は,VLMとE2Eコンポーネント間の包括的インタラクションを実現するために,共有ビジュアルエンコーダによる機能レベルでの知識共有を重視している。
  論文  参考訳（メタデータ） (2025-05-22T15:44:30Z)
• LightEMMA: Lightweight End-to-End Multimodal Model for Autonomous Driving [9.447298958886265]
  VLM(Vision-Language Models)は、エンドツーエンドの自動運転において大きな可能性を実証している。 光EMMA(Lightweight End-to-End Multimodal Model for autonomous driving)を紹介する。 様々なVLMを用いて12個の自律運転エージェントを構築し,その性能をnuScenes予測タスクで評価する。
  論文  参考訳（メタデータ） (2025-05-01T04:12:41Z)
• RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving [10.984203470464687]
  視覚言語モデル(VLM)は、空間認識の不十分さや幻覚といった限界に悩まされることが多い。 本稿では,自律走行シーンにおけるメタアクションを確実に生成するVLMの能力を高めるための,検索強化意思決定(RAD)フレームワークを提案する。 我々は,NuScenesデータセットから得られたデータセットに基づいてVLMを微調整し,その空間的知覚と鳥眼視画像理解能力を高める。
  論文  参考訳（メタデータ） (2025-03-18T03:25:57Z)
• The Role of World Models in Shaping Autonomous Driving: A Comprehensive Survey [50.62538723793247]
  ドライビング・ワールド・モデル(DWM)は、ドライビング・プロセス中のシーンの進化を予測することに焦点を当てている。 DWM法は、自律運転システムが動的運転環境をよりよく知覚し、理解し、相互作用することを可能にする。
  論文  参考訳（メタデータ） (2025-02-14T18:43:15Z)
• Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving [20.33096710167997]
  GPVLという名前の3次元言語事前学習モデルによる生成計画がエンドツーエンドの自動運転のために提案されている。 クロスモーダル言語モデルを導入し、総合的な駆動決定と微粒な軌跡を生成する。 GPVLの効果的で堅牢で効率的な性能は、将来の自動運転システムの実用化に不可欠であると考えられている。
  論文  参考訳（メタデータ） (2025-01-15T15:20:46Z)
• Application of Vision-Language Model to Pedestrians Behavior and Scene Understanding in Autonomous Driving [5.456780031044544]
  本稿では,大規模視覚言語基礎モデルから効率的な視覚ネットワークへ知識を伝達する知識蒸留法を提案する。 歩行者行動予測やシーン理解タスクに適用し,より多様で包括的なセマンティック属性を生成する上で,有望な結果を達成する。
  論文  参考訳（メタデータ） (2025-01-12T01:31:07Z)
• DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving [55.53171248839489]
  我々は、エンドツーエンドの自動運転のためのエゴ中心の完全スパースパラダイムであるDiFSDを提案する。 特に、DiFSDは主にスパース知覚、階層的相互作用、反復的な運動プランナーから構成される。 nuScenesとBench2Driveデータセットで実施された実験は、DiFSDの優れた計画性能と優れた効率を実証している。
  論文  参考訳（メタデータ） (2024-09-15T15:55:24Z)
• DriveGenVLM: Real-world Video Generation for Vision Language Model based Autonomous Driving [12.004604110512421]
  視覚言語モデル(VLM)は、自律運転に影響を与える大きな可能性を持つ革命的ツールとして出現している。 本稿では,駆動ビデオを生成するためのDriveGenVLMフレームワークを提案し,それらを理解するためにVLMを使用する。
  論文  参考訳（メタデータ） (2024-08-29T15:52:56Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• Prospective Role of Foundation Models in Advancing Autonomous Vehicles [19.606191410333363]
  大規模ファンデーションモデル(FM)は自然言語処理やコンピュータビジョンを含む多くの分野において顕著な成果を上げている。 本稿では,自動運転におけるFMの応用と今後の動向について述べる。
  論文  参考訳（メタデータ） (2023-12-08T15:35:24Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Scaling Vision-based End-to-End Driving with Multi-View Attention Learning [7.14967754486195]
  本稿では,人間にインスパイアされたHFOVを誘導バイアスとして用いて高分解能画像を処理し,適切な注意機構を組み込むことにより,CILRSを改善するCIL++を提案する。 我々は,車載信号のみによって制御され,条件付き模倣学習によって訓練された強力な視覚ベースの純粋エンドツーエンド駆動ベースラインとして,CILRSをCIL++に置き換えることを提案する。
  論文  参考訳（メタデータ） (2023-02-07T02:14:45Z)
• CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous Driving Tasks [11.489187712465325]
  自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。 オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。 この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
  論文  参考訳（メタデータ） (2022-05-18T04:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。