論文の概要: INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation

• arxiv url: http://arxiv.org/abs/2502.00262v2
• Date: Tue, 04 Feb 2025 03:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:21:53.553244
• Title: INSIGHT: Enhancing Autonomous Driving Safety through Vision-Language Models on Context-Aware Hazard Detection and Edge Case Evaluation
• Title（参考訳）: INSIGHT: 視覚言語モデルによる自律走行安全性向上のためのコンテキストアウェア・ハザード検出とエッジケース評価
• Authors: Dianwei Chen, Zifan Zhang, Yuchen Liu, Xianfeng Terry Yang,
• Abstract要約: INSIGHTは、危険検出とエッジケース評価を強化するために設計された階層型視覚言語モデル(VLM)フレームワークである。 本手法は,マルチモーダルデータ融合を用いて意味表現と視覚表現を統合し,運転シナリオの正確な解釈を可能にする。 BDD100Kデータセットの実験結果は、既存のモデルよりもハザード予測の正確性と正確性を大幅に改善したことを示している。
• 参考スコア（独自算出の注目度）: 7.362380225654904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving systems face significant challenges in handling unpredictable edge-case scenarios, such as adversarial pedestrian movements, dangerous vehicle maneuvers, and sudden environmental changes. Current end-to-end driving models struggle with generalization to these rare events due to limitations in traditional detection and prediction approaches. To address this, we propose INSIGHT (Integration of Semantic and Visual Inputs for Generalized Hazard Tracking), a hierarchical vision-language model (VLM) framework designed to enhance hazard detection and edge-case evaluation. By using multimodal data fusion, our approach integrates semantic and visual representations, enabling precise interpretation of driving scenarios and accurate forecasting of potential dangers. Through supervised fine-tuning of VLMs, we optimize spatial hazard localization using attention-based mechanisms and coordinate regression techniques. Experimental results on the BDD100K dataset demonstrate a substantial improvement in hazard prediction straightforwardness and accuracy over existing models, achieving a notable increase in generalization performance. This advancement enhances the robustness and safety of autonomous driving systems, ensuring improved situational awareness and potential decision-making in complex real-world scenarios.
• Abstract（参考訳）: 自律運転システムは、敵の歩行者の動き、危険な車両操作、突然の環境変化など、予測不可能なエッジケースのシナリオを扱う上で大きな課題に直面している。 現在のエンドツーエンド駆動モデルは、従来の検出と予測アプローチの制限により、これらの稀な事象への一般化に苦慮している。 そこで本研究では,リスク検出とエッジケース評価の強化を目的とした階層型視覚言語モデルであるINSIGHT(Integration of Semantic and Visual Inputs for Generalized Hazard Tracking)を提案する。 マルチモーダルデータ融合を用いてセマンティックおよび視覚表現を統合し,運転シナリオの正確な解釈と潜在的な危険の正確な予測を可能にする。 VLMの微調整により,注意に基づく機構と座標回帰手法を用いて空間的ハザード位置決めを最適化する。 BDD100Kデータセットの実験結果は、既存のモデルよりもハザード予測の正確性と精度が大幅に向上し、一般化性能が顕著に向上したことを示している。 この進歩は、自律運転システムの堅牢性と安全性を高め、複雑な現実のシナリオにおける状況認識と潜在的な意思決定を改善する。

関連論文リスト

• From Shadows to Safety: Occlusion Tracking and Risk Mitigation for Urban Autonomous Driving [1.8434042562191815]
  本研究は、リスク認識型モーションプランニングと閉塞追跡における既存のアプローチを構築し、拡張する。 我々は,隠蔽領域の追跡と潜在的な危険の予測にシーケンシャル推論を組み込むことにより,幻エージェント中心モデルを強化する。 シミュレーションにより,提案手法は状況認識を改善し,能動的安全と効率的な交通流とのバランスを図っている。
  論文  参考訳（メタデータ） (2025-04-02T06:48:50Z)
• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• A Survey of World Models for Autonomous Driving [63.33363128964687]
  自動運転車の最近のブレークスルーは、車両が周囲を知覚し、相互作用する方法に革命をもたらした。 世界モデルは、マルチセンサーデータ、セマンティックキュー、時間ダイナミクスを統合する駆動環境の高忠実度表現を提供する。 これらの世界モデルは、より堅牢で信頼性があり、適応可能な自動運転ソリューションの道を開いた。
  論文  参考訳（メタデータ） (2025-01-20T04:00:02Z)
• When, Where, and What? A Novel Benchmark for Accident Anticipation and Localization with Large Language Models [14.090582912396467]
  本研究では,複数の次元にわたる予測能力を高めるために,LLM(Large Language Models)を統合した新しいフレームワークを提案する。 複雑な運転シーンにおけるリスクの高い要素の優先順位を動的に調整する,革新的なチェーンベースアテンション機構を開発した。 DAD, CCD, A3Dデータセットの実証的検証は平均精度(AP)と平均時間到達精度(mTTA)において優れた性能を示す
  論文  参考訳（メタデータ） (2024-07-23T08:29:49Z)
• Risk-Aware Vehicle Trajectory Prediction Under Safety-Critical Scenarios [25.16311876790003]
  本稿では,安全クリティカルシナリオに適したリスク対応軌道予測フレームワークを提案する。 安全クリティカルな軌道予測データセットと調整された評価指標を導入する。 その結果,モデルの性能が向上し,ほとんどの指標が大幅に改善した。
  論文  参考訳（メタデータ） (2024-07-18T13:00:01Z)
• Towards Safe and Reliable Autonomous Driving: Dynamic Occupancy Set Prediction [12.336412741837407]
  本研究は,高度軌跡予測ネットワークとDOS予測モジュールを効果的に組み合わせた,DOS予測のための新しい手法を提案する。 本研究の革新的な貢献は、複雑なシナリオをナビゲートするための新しいDOS予測モデルの開発である。
  論文  参考訳（メタデータ） (2024-02-29T17:36:39Z)
• Efficient and Generalized end-to-end Autonomous Driving System with Latent Deep Reinforcement Learning and Demonstrations [15.853453814447471]
  インテリジェントな運転システムは、現在の環境と車両状態に基づいて、適切な運転戦略を動的に定式化すべきである。 本稿では,複雑かつ多様なシナリオを対象とした効率的なエンドツーエンド自動運転システム(EGADS)を提案する。
  論文  参考訳（メタデータ） (2024-01-22T09:44:16Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Leveraging Driver Field-of-View for Multimodal Ego-Trajectory Prediction [69.29802752614677]
  RouteFormerは、GPSデータ、環境コンテキスト、運転者の視野を組み合わせた新しいエゴ軌道予測ネットワークである。 データ不足に対処し、多様性を高めるために、同期運転場と視線データに富んだ都市運転シナリオのデータセットであるGEMを導入する。
  論文  参考訳（メタデータ） (2023-12-13T23:06:30Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• The Integration of Prediction and Planning in Deep Learning Automated Driving Systems: A Review [43.30610493968783]
  我々は、最先端のディープラーニングベースの計画システムについてレビューし、どのように予測を統合するかに焦点を当てる。 異なる統合原則の意味、強み、限界について論じる。
  論文  参考訳（メタデータ） (2023-08-10T17:53:03Z)
• Unsupervised Self-Driving Attention Prediction via Uncertainty Mining and Knowledge Embedding [51.8579160500354]
  本研究では、不確実性モデリングと知識統合の駆動による自動運転の注意を予測できる教師なし手法を提案する。 結果は、完全に教師された最先端のアプローチと比較して、同等またはさらに印象的なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-03-17T00:28:33Z)
• I Know You Can't See Me: Dynamic Occlusion-Aware Safety Validation of Strategic Planners for Autonomous Vehicles Using Hypergames [12.244501203346566]
  我々は,状況リスクを評価するための,新しいマルチエージェント動的閉塞リスク尺度を開発した。 AVにおける戦略的プランナーの安全性を評価するための,ホワイトボックス,シナリオベース,アクセラレーション型安全検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-20T19:38:14Z)
• Generating and Characterizing Scenarios for Safety Testing of Autonomous Vehicles [86.9067793493874]
  最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。 次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。 事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
  論文  参考訳（メタデータ） (2021-03-12T17:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。