論文の概要: Cognitive Accident Prediction in Driving Scenes: A Multimodality
Benchmark
- arxiv url: http://arxiv.org/abs/2212.09381v2
- Date: Fri, 16 Jun 2023 13:29:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 17:53:17.775539
- Title: Cognitive Accident Prediction in Driving Scenes: A Multimodality
Benchmark
- Title（参考訳）: 運転場面における認知事故予測:マルチモダリティベンチマーク
- Authors: Jianwu Fang, Lei-Lei Li, Kuan Yang, Zhedong Zheng, Jianru Xue, and
Tat-Seng Chua
- Abstract要約: 本研究では,視覚的観察と運転者の注意に対する人為的な文章記述の認識を効果的に活用し,モデルトレーニングを容易にする認知事故予測手法を提案する。
CAPは、注意テキスト〜ビジョンシフト融合モジュール、注意シーンコンテキスト転送モジュール、運転注意誘導事故予測モジュールによって構成される。
我々は,1,727件の事故ビデオと219万フレーム以上の大規模ベンチマークを構築した。
- 参考スコア（独自算出の注目度）: 77.54411007883962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traffic accident prediction in driving videos aims to provide an early
warning of the accident occurrence, and supports the decision making of safe
driving systems. Previous works usually concentrate on the spatial-temporal
correlation of object-level context, while they do not fit the inherent
long-tailed data distribution well and are vulnerable to severe environmental
change. In this work, we propose a Cognitive Accident Prediction (CAP) method
that explicitly leverages human-inspired cognition of text description on the
visual observation and the driver attention to facilitate model training. In
particular, the text description provides a dense semantic description guidance
for the primary context of the traffic scene, while the driver attention
provides a traction to focus on the critical region closely correlating with
safe driving. CAP is formulated by an attentive text-to-vision shift fusion
module, an attentive scene context transfer module, and the driver attention
guided accident prediction module. We leverage the attention mechanism in these
modules to explore the core semantic cues for accident prediction. In order to
train CAP, we extend an existing self-collected DADA-2000 dataset (with
annotated driver attention for each frame) with further factual text
descriptions for the visual observations before the accidents. Besides, we
construct a new large-scale benchmark consisting of 11,727 in-the-wild accident
videos with over 2.19 million frames (named as CAP-DATA) together with labeled
fact-effect-reason-introspection description and temporal accident frame label.
Based on extensive experiments, the superiority of CAP is validated compared
with state-of-the-art approaches. The code, CAP-DATA, and all results will be
released in \url{https://github.com/JWFanggit/LOTVS-CAP}.
- Abstract（参考訳）: 運転映像における交通事故予測は,事故発生の早期警告の提供を目的としており,安全運転システムの意思決定を支援する。
従来の研究は通常、オブジェクトレベルのコンテキストの空間的時間的相関に集中するが、それらは固有の長期データ分布にうまく適合せず、厳しい環境変化に弱い。
本研究では,視覚的観察と運転者の注意に対する人為的な文章記述の認識を効果的に活用し,モデルトレーニングを容易にする認知事故予測手法を提案する。
特に、テキスト記述は、交通シーンの一次文脈に対する密接な意味記述ガイダンスを提供し、運転者の注意は、安全な運転と密接な関係にある重要な領域に焦点を当てる引き金となる。
capは、注意テキストツービジョンシフト融合モジュール、注意シーンコンテキスト転送モジュール、運転者注意誘導事故予測モジュールによって定式化される。
これらのモジュールの注意機構を利用して、事故予測のコアセマンティック・キューを探索する。
CAPをトレーニングするために,既存のDAD-2000データセット(各フレームに注意を喚起した注記付き)を拡張し,事故前の視覚的観察のさらなる事実記述を行う。
さらに,約219万フレーム(CAP-DATAと名付けられている)とファクト・エフェクト・レファレンス・イントロスペクション記述と時間的事故フレームラベルを用いた11,727件の事故動画からなる大規模ベンチマークを構築した。
広範な実験に基づいて、CAPの優位性は最先端のアプローチと比較して検証される。
CAP-DATAと全ての結果は \url{https://github.com/JWFanggit/LOTVS-CAP} でリリースされる。
関連論文リスト
- STDA: Spatio-Temporal Dual-Encoder Network Incorporating Driver Attention to Predict Driver Behaviors Under Safety-Critical Scenarios [11.303666834549896]
ドライバーの注意は、安全クリティカルなシナリオのためにSTDAという2つの行動コーダ-enネットワークに組み込まれた。
STDAにはドライバの注意予測モジュールと、ドライバの注意と生画像とを融合させるために設計された融合モジュールと、動的シーンを解釈する能力を高めるために使用される一時的なエンコーダモジュールの4つの部分が含まれている。
その結果、STDAはドライバーの注意を取り入れて時間エンコーダモジュールを採用すると、G平均を0.659から0.719に改善することがわかった。
論文 参考訳（メタデータ） (2024-08-03T13:06:04Z) - Abductive Ego-View Accident Video Understanding for Safe Driving
Perception [75.60000661664556]
マルチモーダル・アクシデント・ビデオ理解のための新しいデータセットMM-AUを提案する。
MM-AUには1,727件の映像が収録されている。
安全運転認識のための誘導型事故映像理解フレームワーク(AdVersa-SD)を提案する。
論文 参考訳（メタデータ） (2024-03-01T10:42:52Z) - CEMFormer: Learning to Predict Driver Intentions from In-Cabin and
External Cameras via Spatial-Temporal Transformers [5.572431452586636]
CEM(Cross-View Episodic Memory Transformer)と呼ばれる新しいフレームワークを導入する。
CEMは統合メモリ表現を使用して、ドライバーの意図予測を改善する。
本稿では,運転コンテキストを補助的監視信号として組み込んで予測性能を向上させる新しいコンテキスト一貫性損失を提案する。
論文 参考訳（メタデータ） (2023-05-13T05:27:36Z) - DeepAccident: A Motion and Accident Prediction Benchmark for V2X
Autonomous Driving [76.29141888408265]
本研究では,現実の運転において頻繁に発生する多様な事故シナリオを含む大規模データセットを提案する。
提案したDeepAccidentデータセットには57Kの注釈付きフレームと285Kの注釈付きサンプルが含まれており、これは大規模なnuScenesデータセットの約7倍である。
論文 参考訳（メタデータ） (2023-04-03T17:37:00Z) - CoCAtt: A Cognitive-Conditioned Driver Attention Dataset (Supplementary
Material) [31.888206001447625]
運転注意予測は、ハイリスクイベントの緩和と防止に重要な役割を果たす。
我々は新しいドライバーアテンションデータセットであるCoCAttを提示する。
CoCAttは、自律性レベル、アイトラッカーの解像度、運転シナリオといった面で、最大かつ最も多様なドライバー注意データセットである。
論文 参考訳（メタデータ） (2022-07-08T17:35:17Z) - Safety-aware Motion Prediction with Unseen Vehicles for Autonomous
Driving [104.32241082170044]
本研究では,無人運転用無人車を用いた新しい作業,安全を意識した動作予測手法について検討する。
既存の車両の軌道予測タスクとは異なり、占有率マップの予測が目的である。
私たちのアプローチは、ほとんどの場合、目に見えない車両の存在を予測できる最初の方法です。
論文 参考訳（メタデータ） (2021-09-03T13:33:33Z) - DRIVE: Deep Reinforced Accident Anticipation with Visual Explanation [36.350348194248014]
交通事故予測は、ダッシュカムビデオから将来の事故の発生を正確にかつ迅速に予測することを目的としている。
既存のアプローチは通常、将来の事故が起こる前に、空間的および時間的文脈の手がかりを捉えることに重点を置いている。
本稿では, DRIVE という視覚表現を用いた深部強化型事故予測手法を提案する。
論文 参考訳（メタデータ） (2021-07-21T16:33:21Z) - A model for traffic incident prediction using emergency braking data [77.34726150561087]
道路交通事故予測におけるデータ不足の根本的な課題を、事故の代わりに緊急ブレーキイベントをトレーニングすることで解決します。
メルセデス・ベンツ車両の緊急ブレーキデータに基づくドイツにおける交通事故予測モデルを実装したプロトタイプを提案する。
論文 参考訳（メタデータ） (2021-02-12T18:17:12Z) - Uncertainty-based Traffic Accident Anticipation with Spatio-Temporal
Relational Learning [30.59728753059457]
交通事故予測は、できるだけ早くダッシュカムビデオから事故を予測することを目的としている。
現在の決定論的ディープニューラルネットワークは、誤った予測では過信される可能性がある。
本稿では,関係時間学習を用いた不確実性に基づく事故予測モデルを提案する。
論文 参考訳（メタデータ） (2020-08-01T20:21:48Z) - Driver Intention Anticipation Based on In-Cabin and Driving Scene
Monitoring [52.557003792696484]
本稿では,車内映像と交通シーン映像の両方に基づいて運転者の意図を検出する枠組みを提案する。
本フレームワークは,83.98%,F1スコア84.3%の精度で予測を行う。
論文 参考訳（メタデータ） (2020-06-20T11:56:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。