論文の概要: INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation

• arxiv url: http://arxiv.org/abs/2502.00262v2
• Date: Tue, 04 Feb 2025 03:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:34.150214
• Title: INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation
• Title（参考訳）: INSIGHT: 視覚言語モデルによる自律走行安全性向上のためのコンテキストアウェア・ハザード検出とエッジケース評価
• Authors: Dianwei Chen, Zifan Zhang, Yuchen Liu, Xianfeng Terry Yang,
• Abstract要約: INSIGHTは、危険検出とエッジケース評価を強化するために設計された階層型視覚言語モデル(VLM)フレームワークである。 本手法は,マルチモーダルデータ融合を用いて意味表現と視覚表現を統合し,運転シナリオの正確な解釈を可能にする。 BDD100Kデータセットの実験結果は、既存のモデルよりもハザード予測の正確性と正確性を大幅に改善したことを示している。
• 参考スコア（独自算出の注目度）: 7.362380225654904
• License:
• Abstract: Autonomous driving systems face significant challenges in handling unpredictable edge-case scenarios, such as adversarial pedestrian movements, dangerous vehicle maneuvers, and sudden environmental changes. Current end-to-end driving models struggle with generalization to these rare events due to limitations in traditional detection and prediction approaches. To address this, we propose INSIGHT (Integration of Semantic and Visual Inputs for Generalized Hazard Tracking), a hierarchical vision-language model (VLM) framework designed to enhance hazard detection and edge-case evaluation. By using multimodal data fusion, our approach integrates semantic and visual representations, enabling precise interpretation of driving scenarios and accurate forecasting of potential dangers. Through supervised fine-tuning of VLMs, we optimize spatial hazard localization using attention-based mechanisms and coordinate regression techniques. Experimental results on the BDD100K dataset demonstrate a substantial improvement in hazard prediction straightforwardness and accuracy over existing models, achieving a notable increase in generalization performance. This advancement enhances the robustness and safety of autonomous driving systems, ensuring improved situational awareness and potential decision-making in complex real-world scenarios.
• Abstract（参考訳）: 自律運転システムは、敵の歩行者の動き、危険な車両操作、突然の環境変化など、予測不可能なエッジケースのシナリオを扱う上で大きな課題に直面している。 現在のエンドツーエンド駆動モデルは、従来の検出と予測アプローチの制限により、これらの稀な事象への一般化に苦慮している。 そこで本研究では,リスク検出とエッジケース評価の強化を目的とした階層型視覚言語モデルであるINSIGHT(Integration of Semantic and Visual Inputs for Generalized Hazard Tracking)を提案する。 マルチモーダルデータ融合を用いてセマンティックおよび視覚表現を統合し,運転シナリオの正確な解釈と潜在的な危険の正確な予測を可能にする。 VLMの微調整により,注意に基づく機構と座標回帰手法を用いて空間的ハザード位置決めを最適化する。 BDD100Kデータセットの実験結果は、既存のモデルよりもハザード予測の正確性と精度が大幅に向上し、一般化性能が顕著に向上したことを示している。 この進歩は、自律運転システムの堅牢性と安全性を高め、複雑な現実のシナリオにおける状況認識と潜在的な意思決定を改善する。

関連論文リスト

• Generating Out-Of-Distribution Scenarios Using Language Models [58.47597351184034]
  大規模言語モデル(LLM)は自動運転において有望であることを示している。 本稿では,多様なOF-Distribution(OOD)駆動シナリオを生成するためのフレームワークを提案する。 我々は、広範囲なシミュレーションを通じてフレームワークを評価し、新しい"OOD-ness"メトリクスを導入する。
  論文  参考訳（メタデータ） (2024-11-25T16:38:17Z)
• When, Where, and What? A Novel Benchmark for Accident Anticipation and Localization with Large Language Models [14.090582912396467]
  本研究では,複数の次元にわたる予測能力を高めるために,LLM(Large Language Models)を統合した新しいフレームワークを提案する。 複雑な運転シーンにおけるリスクの高い要素の優先順位を動的に調整する,革新的なチェーンベースアテンション機構を開発した。 DAD, CCD, A3Dデータセットの実証的検証は平均精度(AP)と平均時間到達精度(mTTA)において優れた性能を示す
  論文  参考訳（メタデータ） (2024-07-23T08:29:49Z)
• Risk-Aware Vehicle Trajectory Prediction Under Safety-Critical Scenarios [25.16311876790003]
  本稿では,安全クリティカルシナリオに適したリスク対応軌道予測フレームワークを提案する。 安全クリティカルな軌道予測データセットと調整された評価指標を導入する。 その結果,モデルの性能が向上し,ほとんどの指標が大幅に改善した。
  論文  参考訳（メタデータ） (2024-07-18T13:00:01Z)
• Towards Safe and Reliable Autonomous Driving: Dynamic Occupancy Set Prediction [12.336412741837407]
  本研究は,高度軌跡予測ネットワークとDOS予測モジュールを効果的に組み合わせた,DOS予測のための新しい手法を提案する。 本研究の革新的な貢献は、複雑なシナリオをナビゲートするための新しいDOS予測モデルの開発である。
  論文  参考訳（メタデータ） (2024-02-29T17:36:39Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Unsupervised Self-Driving Attention Prediction via Uncertainty Mining and Knowledge Embedding [51.8579160500354]
  本研究では、不確実性モデリングと知識統合の駆動による自動運転の注意を予測できる教師なし手法を提案する。 結果は、完全に教師された最先端のアプローチと比較して、同等またはさらに印象的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-03-17T00:28:33Z)
• USC: Uncompromising Spatial Constraints for Safety-Oriented 3D Object Detectors in Autonomous Driving [7.355977594790584]
  自律運転における3次元物体検出器の安全性指向性能について考察する。 本稿では,単純だが重要な局所化要件を特徴付ける空間的制約 (USC) について述べる。 既存のモデルに対する安全性指向の微調整を可能にするために,定量的な測定値を共通損失関数に組み込む。
  論文  参考訳（メタデータ） (2022-09-21T14:03:08Z)
• AdvDO: Realistic Adversarial Attacks for Trajectory Prediction [87.96767885419423]
  軌道予測は、自動運転車が正しく安全な運転行動を計画するために不可欠である。 我々は,現実的な対向軌道を生成するために,最適化に基づく対向攻撃フレームワークを考案する。 私たちの攻撃は、AVが道路を走り去るか、シミュレーション中に他の車両に衝突する可能性がある。
  論文  参考訳（メタデータ） (2022-09-19T03:34:59Z)
• I Know You Can't See Me: Dynamic Occlusion-Aware Safety Validation of Strategic Planners for Autonomous Vehicles Using Hypergames [12.244501203346566]
  我々は,状況リスクを評価するための,新しいマルチエージェント動的閉塞リスク尺度を開発した。 AVにおける戦略的プランナーの安全性を評価するための,ホワイトボックス,シナリオベース,アクセラレーション型安全検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-20T19:38:14Z)
• Generating and Characterizing Scenarios for Safety Testing of Autonomous Vehicles [86.9067793493874]
  最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。 次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。 事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
  論文  参考訳（メタデータ） (2021-03-12T17:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。