論文の概要: VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving
- arxiv url: http://arxiv.org/abs/2607.05180v1
- Date: Mon, 06 Jul 2026 14:58:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.201017
- Title: VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving
- Title(参考訳): VLM-CASE:予測安全自動運転のためのコンテキスト適応型安全エンベロープを実現するビジョンランゲージモデル
- Abstract要約: 悪天候などの逆運転条件は、車両が知覚できるものや物理的にできることを劣化させるため、自動運転の主要な障壁である。
本稿では,自動走行車に予測能力を付与する枠組みであるVLM-CASEを提案する。
気象,路面,照明条件など,横方向と縦方向の両方の制御を必要とするタスクに対して,クローズドループCARLAシミュレーションの枠組みを検証した。
- 参考スコア(独自算出の注目度): 9.642572690101325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adverse driving conditions, such as bad weather, remain a principal barrier to autonomous driving because they degrade two things at once: what the vehicle can perceive and what it can physically do. Human drivers cope by anticipation, reasoning about the scene and re-budgeting speed, following distance, and steering before grip or sight is lost, whereas current autonomous driving systems at best react after the fact. This paper proposes VLM-CASE, a framework that gives an autonomous vehicle this anticipatory capacity while keeping its motion bounded by a formal safety model at all times. A vision-language model (VLM), fine-tuned with low-rank adaptation (LoRA), reasons about the scene from the front-camera image and reports the road surface and visibility conditions. This output parametrizes a context-adaptive safety envelope (CASE), derived from physical limits and the guarantees of responsibility-sensitive safety, that couples braking and steering through a shared friction budget. A model predictive controller then drives freely within the envelope, while the VLM runs asynchronously so it never blocks the real-time control loop. We validate the framework in closed-loop CARLA simulation on tasks that demand both lateral and longitudinal control, across a range of weather, road-surface, and lighting conditions. The resulting controller, VLM-CASE-MPC, completes all trials, outperforming a conventional MPC baseline and a state-of-the-art VLM-integrated controller. Ablations confirm that the gains come from context adaptation, with the friction and visibility adaptations proving complementary. Furthermore, the framework is controller-agnostic and pairs with almost any low-level controller, offering a promising direction for safe autonomous driving. The dataset and supplementary materials for VLM-CASE are available at https://github.com/ytj254/VLM-CASE.
- Abstract(参考訳): 悪天候などの逆運転条件は、車両が知覚できることと物理的にできることの2つを同時に分解するため、自動運転の主要な障壁のままである。
人間のドライバーは予測に対処し、シーンを推論し、速度を再予算化し、距離を辿り、グリップや視界の前に操縦する。
本稿では,自動走行車に予測能力を付与する枠組みであるVLM-CASEを提案する。
低ランク適応 (LoRA) で微調整された視覚言語モデル (VLM) は, 前面カメラ画像からのシーンの理由と, 路面および視認性条件を報告する。
この出力は、物理的制限と責任感性安全性の保証から派生したコンテキスト適応型安全封筒(CASE)をパラメトリする。
モデル予測コントローラはエンベロープ内で自由に動作し、VLMは非同期に動作し、リアルタイム制御ループをブロックしない。
気象,路面,照明条件など,横方向と縦方向の両方の制御を必要とするタスクに対して,クローズドループCARLAシミュレーションの枠組みを検証した。
結果として得られたコントローラであるVLM-CASE-MPCは、従来のMPCベースラインと最先端のVLM統合コントローラを上回り、全てのトライアルを完了した。
アブレーションは、摩擦と可視性適応が相補的であることを証明して、この利点が文脈適応によるものであることを確認している。
さらに、このフレームワークはコントローラーに依存しず、ほぼすべての低レベルコントローラとペアリングし、安全な自動運転のための有望な方向を提供する。
VLM-CASEのデータセットと補助資料はhttps://github.com/ytj254/VLM-CASEで入手できる。
関連論文リスト
- Driving Context-guided Model Predictive Planning and Control for Autonomous Car Racing at the Limit and Beyond [2.1824191810542666]
本稿では,自動走行のためのモデル予測制御に基づくモーションプランニングと制御パイプラインを提案する。
完全自動運転のオープンホイールレースカー「Superformula EAV-25」で、ラップタイムは人間の運転基準の2%以内である。
論文 参考訳(メタデータ) (2026-09-11T10:06:11Z) - End-to-end Conditional Diffusion for Realistic and Controllable Visual Traffic Scenario Generation [59.188006170485046]
E2E-CDiffは、制御可能で現実的なシナリオ生成のためのエンドツーエンドの条件拡散フレームワークである。
微分可能な誘導は速度を規制し、乾燥可能な領域のコンプライアンスを強制し、衝突回避や衝突回避行動をサポートする。
E2E-CDiffは、学習ベースのエゴプランナーとしても競争力がある。
論文 参考訳(メタデータ) (2026-07-21T02:13:25Z) - An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving [2.0646127669654826]
この研究は、適応駆動制御のための深層強化学習(DRL)と、大規模言語モデル(LLM)に基づく説明可能性モジュールを組み合わせる。
DRLエージェントは、Dueling Double Deep Q-Networkを使用して、異なる駆動要求に従うためにシミュレーションで訓練された。
LLMモジュールは、乗客の要求を解釈し、いつ説明が必要かを判断し、簡潔で安全性を重視した正当化を生成するために導入された。
論文 参考訳(メタデータ) (2026-06-02T15:15:05Z) - Driver-WM: A Driver-Centric Traffic-Conditioned Latent World Model for In-Cabin Dynamics Rollout [55.19244743715421]
Driver-WMは、ドライバー中心の潜在世界モデルで、アウトキャビンのトラフィックコンテキストを考慮に入れたインキャビンのダイナミクスをロールアウトする。
身体のキネマティクス予測を補助的な行動的・感情的意味認識と統合する。
ドライバ-WMは、反応性の高いハイモーション操作のための堅牢な長距離幾何学的予測を与える。
論文 参考訳(メタデータ) (2026-05-06T16:30:48Z) - DriveVLM-RL: Neuroscience-Inspired Reinforcement Learning with Vision-Language Models for Safe and Deployable Autonomous Driving [7.788062051923755]
DriveVLM-RLは神経科学に触発されたフレームワークで、視覚言語モデルと強化学習を統合する。
このフレームワークは、連続的な空間安全評価のための静的パスに意味報酬学習を分解する。
階層的な報酬合成機構は、セマンティック信号を車両状態と融合させ、非同期トレーニングパイプラインは環境相互作用から高価なVLM推論を分離する。
論文 参考訳(メタデータ) (2026-03-18T21:55:29Z) - VLM-AutoDrive: Post-Training Vision-Language Models for Safety-Critical Autonomous Driving Events [25.118024547769895]
VLM-AutoDrive(VLM-AutoDrive)は、トレーニング済みの視覚言語モデルを高忠実度異常検出に適用するためのモジュラーフレームワークである。
NVIDIAのCosmos-1 7B (CR1)のような市販のVLMはゼロショット設定でほぼゼロの衝突リコールを示す。
VLM-AutoDriveは、安全クリティカルで時間的ローカライズされた知覚タスクに汎用VLMを適用するためのスケーラブルなレシピを提供する。
論文 参考訳(メタデータ) (2026-03-18T18:23:34Z) - LMAD: Integrated End-to-End Vision-Language Model for Explainable Autonomous Driving [58.535516533697425]
視覚言語モデル(VLM)はシーン理解において有望な能力を示している。
本稿では,自律運転に適した視覚言語フレームワークLMADを提案する。
本フレームワークは,VLMに包括的シーン理解とタスク特化構造を組み込むことにより,最新のエンド・ツー・エンド駆動パラダイムをエミュレートする。
論文 参考訳(メタデータ) (2025-08-17T15:42:54Z) - VLMLight: Safety-Critical Traffic Signal Control via Vision-Language Meta-Control and Dual-Branch Reasoning Architecture [10.403439446065033]
VLMLightは、視覚言語メタコントロールとデュアルブランチ推論を統合する新しいフレームワークである。
大規模言語モデル(LLM)は、安全優先のメタコントローラとして機能し、ルーチントラフィックの高速なRLポリシーとクリティカルケースの構造化推論ブランチを選択できる。
実験によると、VLMLightは緊急車両の待ち時間を、RLのみのシステムよりも最大65%短縮する。
論文 参考訳(メタデータ) (2025-05-26T04:12:57Z) - Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。
本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。
我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
論文 参考訳(メタデータ) (2025-05-09T20:28:17Z) - Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense [19.797977882386736]
LLM-RCOは、認知障害に直面した自律システムに人間のような駆動コモンセンスを統合するためのフレームワークである。
DriveLM-Deficitは、安全クリティカルな物体の欠如を特徴とする53,895本のビデオクリップのデータセットである。
以上の結果から,DriveLM-Deficitで微調整したLCMは,知覚障害の文脈において,保守的な停止ではなく,より活発な動作を可能にすることが示唆された。
論文 参考訳(メタデータ) (2025-03-10T08:01:41Z) - SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。
安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。
我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
論文 参考訳(メタデータ) (2025-02-28T21:53:47Z) - Differentiable Control Barrier Functions for Vision-based End-to-End
Autonomous Driving [100.57791628642624]
本稿では,視覚に基づくエンドツーエンド自動運転のための安全保証学習フレームワークを提案する。
我々は、勾配降下によりエンドツーエンドに訓練された微分制御バリア関数(dCBF)を備えた学習システムを設計する。
論文 参考訳(メタデータ) (2022-03-04T16:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。