論文の概要: Work Zones challenge VLM Trajectory Planning: Toward Mitigation and Robust Autonomous Driving
- arxiv url: http://arxiv.org/abs/2510.02803v1
- Date: Fri, 03 Oct 2025 08:21:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.311681
- Title: Work Zones challenge VLM Trajectory Planning: Toward Mitigation and Robust Autonomous Driving
- Title(参考訳): ワークゾーンはVLM軌道計画に挑戦する:緩和とロバスト自動運転を目指して
- Abstract要約: 本稿では、ビジュアル言語モデルと検索拡張生成を統合した軌跡計画フレームワークREACT-Driveを提案する。
Qwen2.5-VL を用いて評価した結果,REACT-Drive は VLM ベースラインに対する平均変位誤差を約3倍に削減できることがわかった。
また,実車を用いた実走行実験を実世界で15の作業ゾーンシナリオで実施し,REACT-Driveの強力な実用性を実証した。
- 参考スコア(独自算出の注目度): 24.37638378475337
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual Language Models (VLMs), with powerful multimodal reasoning capabilities, are gradually integrated into autonomous driving by several automobile manufacturers to enhance planning capability in challenging environments. However, the trajectory planning capability of VLMs in work zones, which often include irregular layouts, temporary traffic control, and dynamically changing geometric structures, is still unexplored. To bridge this gap, we conduct the \textit{first} systematic study of VLMs for work zone trajectory planning, revealing that mainstream VLMs fail to generate correct trajectories in $68.0%$ of cases. To better understand these failures, we first identify candidate patterns via subgraph mining and clustering analysis, and then confirm the validity of $8$ common failure patterns through human verification. Building on these findings, we propose REACT-Drive, a trajectory planning framework that integrates VLMs with Retrieval-Augmented Generation (RAG). Specifically, REACT-Drive leverages VLMs to convert prior failure cases into constraint rules and executable trajectory planning code, while RAG retrieves similar patterns in new scenarios to guide trajectory generation. Experimental results on the ROADWork dataset show that REACT-Drive yields a reduction of around $3\times$ in average displacement error relative to VLM baselines under evaluation with Qwen2.5-VL. In addition, REACT-Drive yields the lowest inference time ($0.58$s) compared with other methods such as fine-tuning ($17.90$s). We further conduct experiments using a real vehicle in 15 work zone scenarios in the physical world, demonstrating the strong practicality of REACT-Drive.
- Abstract(参考訳): 強力なマルチモーダル推論能力を持つビジュアル言語モデル(VLM)は、いくつかの自動車メーカーによる自動運転に徐々に統合され、課題のある環境での計画能力を高める。
しかしながら、不規則なレイアウト、一時的な交通制御、動的に変化する幾何学的構造を含むワークゾーンにおけるVLMの軌道計画能力は、まだ探索されていない。
このギャップを埋めるために、ワークゾーン軌跡計画のためのVLMの体系的な研究を行い、主流のVLMが68.0%のケースで正しい軌跡を生成できないことを明らかにした。
これらの失敗をよりよく理解するために、まずサブグラフマイニングとクラスタリング分析により候補パターンを特定し、続いて、人間の検証によって一般的な障害パターンの有効性を確認する。
これらの知見に基づいて, VLMとレトリーバル拡張生成(RAG)を統合した軌道計画フレームワークREACT-Driveを提案する。
具体的には、REACT-DriveはVLMを活用して、事前の障害ケースを制約ルールと実行可能な軌道計画コードに変換する。
ROADWorkデータセットによる実験結果から,REACT-DriveはQwen2.5-VLによる評価により,VLMベースラインに対する平均変位誤差が約$3\times$となることがわかった。
さらに、REACT-Driveは微調整($17.90$s)などの他の手法と比較して、推論時間が最も低い($0.58$s)。
さらに,実車を用いた実走行実験を実世界で15の作業ゾーンシナリオで実施し,REACT-Driveの強力な実用性を実証した。
関連論文リスト
- CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving [66.77752555295355]
E2E-ADのための大規模強化学習(RL)を用いた閉ループ訓練システムであるCLEARを提案する。
簡単な報奨により、CLEARは従来の手法よりも大幅に優れ、新しい最先端性能を設定できることが示される。
論文 参考訳(メタデータ) (2026-07-03T00:34:50Z) - DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving [17.749010844640388]
リワードモデルは、自律運転のための強化学習(RL)とマルチモーダル軌道選択において重要な役割を果たす。
VLM(Vision-Language Models)は、他の領域における報酬モデルとして実現可能であるが、その運転タスクの有効性は未解明のままである。
DriveRewardは、時間的グラウンドの視覚的ガイダンスによって厳格にラベル付けされた推論軌道評価データセットである。
論文 参考訳(メタデータ) (2026-06-07T09:05:49Z) - MAPLE: Latent Multi-Agent Play for End-to-End Autonomous Driving [62.43744546817599]
視覚言語-アクション(VLA)モデルは、エンドツーエンドのモーションプランナーとして有効であるが、クローズドループ設定で評価すると不安定である。
本稿では, VLAモデルの潜在空間における動的駆動シナリオの, リアクティブでマルチエージェントなロールアウトのための新しいフレームワークMAPLEを提案する。
MAPLEはBench2Driveで最先端の駆動性能を実現し、堅牢なE2E自動運転システムのためのスケーラブルでクローズループなマルチエージェントプレイを実演する。
論文 参考訳(メタデータ) (2026-05-13T23:35:14Z) - Prompt-Driven Lightweight Foundation Model for Instance Segmentation-Based Fault Detection in Freight Trains [6.6492664858930475]
本稿では,貨物列車の故障検出に適した軽量なインスタンスセグメント化フレームワークを提案する。
本手法は,タスク固有のプロンプトを自動生成する自己プロンプト生成モジュールを導入することで,セグメンテーションモデルを活用する。
さらに、Tiny Vision Transformerのバックボーンを採用して計算コストを削減し、鉄道監視システムにおけるエッジデバイスへのリアルタイム展開に適したフレームワークを実現する。
論文 参考訳(メタデータ) (2026-03-13T03:56:37Z) - Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning [65.10602992874787]
AutoTrajはツール使用トラジェクトリの修復と報酬によってTIRを自動的に学習するフレームワークである。
実世界のベンチマークの実験では、AutoTrajの有効性が示されている。
論文 参考訳(メタデータ) (2026-01-30T14:42:04Z) - dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning [69.36145467833498]
本稿では,拡散に基づく視覚言語モデルであるdVLM-ADを導入する。
nuScenes と WOD-E2E で評価すると、dVLM-AD はより一貫性のある推論・アクションのペアとなり、既存の駆動VLM/VLAシステムに匹敵する計画性能を達成する。
論文 参考訳(メタデータ) (2025-12-04T05:05:41Z) - RoboDriveVLM: A Novel Benchmark and Baseline towards Robust Vision-Language Models for Autonomous Driving [45.00491493068162]
現在のビジョンランゲージモデル(VLM)ベースのエンドツーエンド自動運転システムは、大きな言語モデルを利用して駆動決定を生成することが多い。
このベンチマークは、VLMベースのエンドツーエンド自動運転システムにおいて、現実的な課題の2つの重要なカテゴリを体系的に評価する。
我々は,よりマルチモーダルなデータ,例えばライダーやレーダを統合潜在空間にマッピングすることで,ロボドライブVLMと呼ばれる新しいVLMベースの自律走行フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-01T05:44:06Z) - CoReVLA: A Dual-Stage End-to-End Autonomous Driving Framework for Long-Tail Scenarios via Collect-and-Refine [73.74077186298523]
CoReVLAは、自動運転のための継続的学習フレームワークである。
データコレクションとビヘイビアリファインメントの2段階プロセスを通じて、ロングテールシナリオのパフォーマンスを改善する。
CoReVLAは72.18のドライビングスコア(DS)と50%の成功率(SR)を達成し、7.96DSの最先端手法と15%SRの長期的安全クリティカルシナリオで性能を向上する。
論文 参考訳(メタデータ) (2025-09-19T13:25:56Z) - AutoDrive-R$^2$: Incentivizing Reasoning and Self-Reflection Capacity for VLA Model in Autonomous Driving [37.260140808367716]
本稿では,自律運転システムの推論能力と自己回帰能力を両立させる新しいVLAフレームワークであるAutoDrive-R$2$を提案する。
まず,教師付き微調整のための新しいCoTデータセット nuScenesR$2$-6K を提案する。
次に, グループ相対政策最適化(GRPO)アルゴリズムを用いて, 信頼性の高い滑らかさと現実的な軌道計画を実現する。
論文 参考訳(メタデータ) (2025-09-02T04:32:24Z) - ReCogDrive: A Reinforced Cognitive Framework for End-to-End Autonomous Driving [49.07731497951963]
ReCogDriveは、エンドツーエンドの自動運転のための新しい強化認知フレームワークである。
我々は、人間のドライバーのシーケンシャルな認知過程を模倣する階層的なデータパイプラインを導入する。
次に、VLMの学習した運転先を拡散プランナーに注入することで、言語行動ミスマッチに対処する。
論文 参考訳(メタデータ) (2025-06-09T03:14:04Z) - VERDI: VLM-Embedded Reasoning for Autonomous Driving [33.66777025242027]
自律走行(VERDI)のためのVLM埋め込み推論を提案する。
VERDIはVision-Language Modelsの推論プロセスと常識知識をADスタックに蒸留する。
VERDIは、$ell_2$ distanceで10%の推論を埋め込まない既存のe2eメソッドよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-05-21T18:24:36Z) - TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。
自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
論文 参考訳(メタデータ) (2025-02-03T14:22:03Z) - Distilling Multi-modal Large Language Models for Autonomous Driving [64.63127269187814]
近年のエンド・ツー・エンドの自動運転システムは,大規模言語モデル(LLM)をプランナーとして活用し,レアイベントに対する一般化性を向上させる。
我々は,LLMの世界の知識を活用しつつ,LLMフリー(あるいはビジョンベース)プランナの効率を維持するエンド・ツー・エンドの自動運転システムであるDiMAを提案する。
DiMAを用いたトレーニングでは、L2軌道誤差が37%減少し、ビジョンベースプランナーの衝突速度が80%低下し、ロングテールシナリオでは44%軌道誤差が減少する。
論文 参考訳(メタデータ) (2025-01-16T18:59:53Z) - VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [17.36342349850825]
教師としての視覚言語モデル(VLM)は、追加の監督を提供することで訓練を強化する。
VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
論文 参考訳(メタデータ) (2024-12-19T01:53:36Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。
GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文 参考訳(メタデータ) (2024-05-09T17:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。