論文の概要: CurricuVLM: Towards Safe Autonomous Driving via Personalized Safety-Critical Curriculum Learning with Vision-Language Models

• arxiv url: http://arxiv.org/abs/2502.15119v1
• Date: Fri, 21 Feb 2025 00:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:19.519569
• Title: CurricuVLM: Towards Safe Autonomous Driving via Personalized Safety-Critical Curriculum Learning with Vision-Language Models
• Title（参考訳）: CurricuVLM:視覚言語モデルを用いたパーソナライズされた安全批判型カリキュラム学習による安全な自動運転を目指して
• Authors: Zihao Sheng, Zilin Huang, Yansong Qu, Yue Leng, Sruthi Bhavanam, Sikai Chen,
• Abstract要約: CurricuVLMは、自律運転エージェントのためのパーソナライズされたカリキュラム学習を可能にする新しいフレームワークである。 我々のアプローチでは、エージェントの動作を分析し、パフォーマンスの弱点を特定し、動的に調整されたトレーニングシナリオを生成するために、視覚言語モデル(VLM)を利用する。 CurricuVLMは、通常のシナリオと安全クリティカルなシナリオの両方において、最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 1.6612510324510592
• License:
• Abstract: Ensuring safety in autonomous driving systems remains a critical challenge, particularly in handling rare but potentially catastrophic safety-critical scenarios. While existing research has explored generating safety-critical scenarios for autonomous vehicle (AV) testing, there is limited work on effectively incorporating these scenarios into policy learning to enhance safety. Furthermore, developing training curricula that adapt to an AV's evolving behavioral patterns and performance bottlenecks remains largely unexplored. To address these challenges, we propose CurricuVLM, a novel framework that leverages Vision-Language Models (VLMs) to enable personalized curriculum learning for autonomous driving agents. Our approach uniquely exploits VLMs' multimodal understanding capabilities to analyze agent behavior, identify performance weaknesses, and dynamically generate tailored training scenarios for curriculum adaptation. Through comprehensive analysis of unsafe driving situations with narrative descriptions, CurricuVLM performs in-depth reasoning to evaluate the AV's capabilities and identify critical behavioral patterns. The framework then synthesizes customized training scenarios targeting these identified limitations, enabling effective and personalized curriculum learning. Extensive experiments on the Waymo Open Motion Dataset show that CurricuVLM outperforms state-of-the-art baselines across both regular and safety-critical scenarios, achieving superior performance in terms of navigation success, driving efficiency, and safety metrics. Further analysis reveals that CurricuVLM serves as a general approach that can be integrated with various RL algorithms to enhance autonomous driving systems. The code and demo video are available at: https://zihaosheng.github.io/CurricuVLM/.
• Abstract（参考訳）: 自動運転システムにおける安全性の確保は、特に稀だが破滅的な安全クリティカルなシナリオを扱う上で、依然として重要な課題である。 既存の研究では、自動運転車(AV)テストのための安全クリティカルなシナリオの生成について検討されているが、これらのシナリオを安全を高めるためのポリシー学習に効果的に組み込むことは限られている。 さらに、AVの進化する行動パターンやパフォーマンスボトルネックに適応するトレーニングカリキュラムの開発も、まだほとんど検討されていない。 これらの課題に対処するために,視覚言語モデル(VLM)を活用する新しいフレームワークであるCurricuVLMを提案する。 提案手法は,VLMのマルチモーダル理解機能を利用してエージェントの動作を分析し,性能の弱点を特定し,カリキュラム適応に適したトレーニングシナリオを動的に生成する。 物語記述による安全でない運転状況の包括的分析を通じて、CurricuVLMは、AVの能力を評価し、重要な行動パターンを特定するために、詳細な推論を行う。 フレームワークは、これらの制限をターゲットとしたカスタマイズされたトレーニングシナリオを合成し、効果的でパーソナライズされたカリキュラム学習を可能にする。 Waymo Open Motion Datasetの大規模な実験によると、CurricuVLMは、通常のシナリオと安全クリティカルなシナリオの両方で最先端のベースラインを上回り、ナビゲーションの成功、運転効率、安全性の指標において優れたパフォーマンスを実現している。 さらなる分析により、CurricuVLMは、自律運転システムを強化するために様々なRLアルゴリズムと統合できる一般的なアプローチとして機能することが明らかになった。 コードとデモビデオは、https://zihaosheng.github.io/CurricuVLM/.comで公開されている。

関連論文リスト

• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Generating Out-Of-Distribution Scenarios Using Language Models [58.47597351184034]
  大規模言語モデル(LLM)は自動運転において有望であることを示している。 本稿では,多様なOF-Distribution(OOD)駆動シナリオを生成するためのフレームワークを提案する。 我々は、広範囲なシミュレーションを通じてフレームワークを評価し、新しい"OOD-ness"メトリクスを導入する。
  論文  参考訳（メタデータ） (2024-11-25T16:38:17Z)
• Hard Cases Detection in Motion Prediction by Vision-Language Foundation Models [16.452638202694246]
  本研究は、自動運転におけるハードケースの検出におけるビジョン・ランゲージ・ファンデーション・モデル(VLM)の可能性を探るものである。 設計したプロンプトで逐次画像フレームを供給し,課題のあるエージェントやシナリオを効果的に識別する,実現可能なパイプラインを提案する。 NuScenesデータセット上で、パイプラインを最先端の手法に組み込むことの有効性と可能性を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:35:41Z)
• Physical Backdoor Attack can Jeopardize Driving with Vision-Large-Language Models [53.701148276912406]
  Vision-Large-Language-models (VLMs) は自動運転において大きな応用可能性を持っている。 BadVLMDriverは、物理的オブジェクトを使用して実際に起動できる自動運転のためのVLMに対する最初のバックドア攻撃である。 BadVLMDriverは、赤い風船を持った歩行者に突如、加速を誘導する攻撃の成功率を92%達成する。
  論文  参考訳（メタデータ） (2024-04-19T14:40:38Z)
• Enhancing Autonomous Vehicle Training with Language Model Integration and Critical Scenario Generation [32.02261963851354]
  CRITICALは、自動運転車(AV)のトレーニングとテストのための新しいクローズドループフレームワークである。 このフレームワークは、現実世界のトラフィックダイナミクス、運転行動分析、安全性対策、オプションのLarge Language Model (LLM)コンポーネントを統合することで、これを実現する。
  論文  参考訳（メタデータ） (2024-04-12T16:13:10Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Continual Driving Policy Optimization with Closed-Loop Individualized Curricula [2.903150959383393]
  閉ループ個別化カリキュラム(CLIC)を特徴とする連続運転ポリシー最適化フレームワークを開発した。 CLICは衝突予測タスクとしてAV評価をフレーム化し、各イテレーションでこれらのシナリオでAV障害が起こる確率を見積もる。 CLICは他のカリキュラムベースのトレーニング戦略を超越し、リスクのあるシナリオの管理を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-25T15:14:54Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving [100.57791628642624]
  本稿では,視覚に基づくエンドツーエンド自動運転のための安全保証学習フレームワークを提案する。 我々は、勾配降下によりエンドツーエンドに訓練された微分制御バリア関数(dCBF)を備えた学習システムを設計する。
  論文  参考訳（メタデータ） (2022-03-04T16:14:33Z)
• UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning [1.1339580074756188]
  オフライン強化学習(RL)は、オフラインデータから意思決定を学ぶためのフレームワークを提供する。 自動運転車(SDV)は、おそらく準最適データセットの振る舞いよりも優れるポリシーを学ぶ。 これはモデルベースのオフラインRLアプローチの使用を動機付け、プランニングを活用する。
  論文  参考訳（メタデータ） (2021-11-22T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。