論文の概要: Enhancing End-to-End Autonomous Driving with Risk Semantic Distillaion from VLM

• arxiv url: http://arxiv.org/abs/2511.14499v1
• Date: Tue, 18 Nov 2025 13:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:53.137842
• Title: Enhancing End-to-End Autonomous Driving with Risk Semantic Distillaion from VLM
• Title（参考訳）: VLMによるリスク・セマンティック・ディテリジョンによるエンドツーエンド自動運転の実現
• Authors: Jack Qin, Zhitao Wang, Yinan Zheng, Keyu Chen, Yang Zhou, Yuanxin Zhong, Siyuan Cheng,
• Abstract要約: リスクセマンティック蒸留(RSD)は、視覚言語モデル(VLM)を利用して、エンド・トゥ・エンド(E2E)自動運転バックボーンのトレーニングを強化する新しいフレームワークである。 具体的には、Vision-Language Models から Bird's-Eye-View (BEV) 機能への因果リスク推定を蒸留するプラグインモジュールである RiskHead を紹介する。 Bench2Driveベンチマーク実験では,複雑な運転条件と予測不可能な運転条件の管理におけるRSDの有効性を示した。
• 参考スコア（独自算出の注目度）: 14.016225216093643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The autonomous driving (AD) system has exhibited remarkable performance in complex driving scenarios. However, generalization is still a key limitation for the current system, which refers to the ability to handle unseen scenarios or unfamiliar sensor configurations.Related works have explored the use of Vision-Language Models (VLMs) to address few-shot or zero-shot tasks. While promising, these methods introduce a new challenge: the emergence of a hybrid AD system, where two distinct systems are used to plan a trajectory, leading to potential inconsistencies. Alternative research directions have explored Vision-Language-Action (VLA) frameworks that generate control actions from VLM directly. However, these end-to-end solutions demonstrate prohibitive computational demands. To overcome these challenges, we introduce Risk Semantic Distillation (RSD), a novel framework that leverages VLMs to enhance the training of End-to-End (E2E) AD backbones. By providing risk attention for key objects, RSD addresses the issue of generalization. Specifically, we introduce RiskHead, a plug-in module that distills causal risk estimates from Vision-Language Models into Bird's-Eye-View (BEV) features, yielding interpretable risk-attention maps.This approach allows BEV features to learn richer and more nuanced risk attention representations, which directly enhance the model's ability to handle spatial boundaries and risky objects.By focusing on risk attention, RSD aligns better with human-like driving behavior, which is essential to navigate in complex and dynamic environments. Our experiments on the Bench2Drive benchmark demonstrate the effectiveness of RSD in managing complex and unpredictable driving conditions. Due to the enhanced BEV representations enabled by RSD, we observed a significant improvement in both perception and planning capabilities.
• Abstract（参考訳）: 自律運転(AD)システムは複雑な運転シナリオにおいて顕著な性能を示した。 しかしながら、一般化は現在のシステムにとって依然として重要な制限であり、目に見えないシナリオや未知のセンサー構成を扱う能力を指している。 将来性はあるものの、これらの手法は2つの異なるシステムが軌道計画に使用されるハイブリッドADシステムの出現という新たな課題をもたらし、潜在的な矛盾につながります。 代替研究の方向性として、VLMから直接制御アクションを生成するVision-Language-Action (VLA)フレームワークが検討されている。 しかし、これらのエンドツーエンドのソリューションは、計算要求を禁止していることを示している。 リスクセマンティック蒸留(RSD, Risk Semantic Distillation)は, VLMを利用してエンド・ツー・エンド(E2E)ADバックボーンのトレーニングを強化する新しいフレームワークである。 鍵オブジェクトに対するリスクアテンションを提供することで、RSDは一般化の問題に対処する。 具体的には,ビジョンランゲージモデルからバードアイビュー(Bird's-Eye-View, BEV)機能への因果リスク推定を抽出し,解釈可能なリスクアテンションマップを生成するプラグインモジュールであるHassHeadを導入する。このアプローチにより,BEV機能はよりリッチでニュアンスなリスクアテンション表現を学習し,空間境界やリスクアテンションオブジェクトを扱うモデルの能力を直接的に向上する。リスクアテンションを重視すれば,リスクアテンションは,複雑でダイナミックな環境でのナビゲートに不可欠な人間的な運転行動と整合する。 Bench2Driveベンチマーク実験では,複雑な運転条件と予測不可能な運転条件の管理におけるRSDの有効性を示した。 RSDによって実現されたBEV表現の強化により,認識能力と計画能力の両面で大きな改善が見られた。

関連論文リスト

• Discrete Diffusion for Reflective Vision-Language-Action Models in Autonomous Driving [55.13109926181247]
  離散拡散による安全な軌道生成のためのリフレクション機構を統合した学習ベースのフレームワークであるReflectDriveを紹介する。 我々のアプローチの中心は、勾配のない反復的な自己補正を行う、安全を意識した反射機構である。 本手法は目標条件付き軌道生成から始まり,マルチモーダル運転動作をモデル化する。
  論文  参考訳（メタデータ） (2025-09-24T13:35:15Z)
• ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving [64.12414815634847]
  ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。 我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
  論文  参考訳（メタデータ） (2025-08-15T12:06:55Z)
• ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
  ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。 我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。 次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
  論文  参考訳（メタデータ） (2025-06-09T03:14:04Z)
• Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
  視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。 本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。 我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
  論文  参考訳（メタデータ） (2025-05-09T20:28:17Z)
• RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving [10.984203470464687]
  視覚言語モデル(VLM)は、空間認識の不十分さや幻覚といった限界に悩まされることが多い。 本稿では,自律走行シーンにおけるメタアクションを確実に生成するVLMの能力を高めるための,検索強化意思決定(RAD)フレームワークを提案する。 我々は,NuScenesデータセットから得られたデータセットに基づいてVLMを微調整し,その空間的知覚と鳥眼視画像理解能力を高める。
  論文  参考訳（メタデータ） (2025-03-18T03:25:57Z)
• INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation [7.362380225654904]
  INSIGHTは、危険検出とエッジケース評価を強化するために設計された階層型視覚言語モデル(VLM)フレームワークである。 本手法は,マルチモーダルデータ融合を用いて意味表現と視覚表現を統合し,運転シナリオの正確な解釈を可能にする。 BDD100Kデータセットの実験結果は、既存のモデルよりもハザード予測の正確性と正確性を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2025-02-01T01:43:53Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• SenseRAG: Constructing Environmental Knowledge Bases with Proactive Querying for LLM-Based Autonomous Driving [10.041702058108482]
  本研究では,大規模言語モデル(LLM)の文脈推論機能を活用することにより,自律運転(AD)における状況認識の高度化の必要性に対処する。 厳密なラベルベースのアノテーションに依存する従来の認識システムとは異なり、リアルタイムのマルチモーダルセンサーデータを統一されたLLM対応の知識ベースに統合する。 実世界のV2Xデータセットを用いた実験結果は、知覚と予測性能の大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-01-07T05:15:46Z)
• VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [17.36342349850825]
  教師としての視覚言語モデル(VLM)は、追加の監督を提供することで訓練を強化する。 VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-12-19T01:53:36Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。