論文の概要: AccidentBlip2: Accident Detection With Multi-View MotionBlip2
- arxiv url: http://arxiv.org/abs/2404.12149v4
- Date: Tue, 7 May 2024 11:21:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 18:53:50.505083
- Title: AccidentBlip2: Accident Detection With Multi-View MotionBlip2
- Title（参考訳）: AccidentBlip2:Multi-View MotionBlip2による事故検出
- Authors: Yihua Shao, Hongyi Cai, Xinwei Long, Weiyi Lang, Zhe Wang, Haoran Wu, Yan Wang, Jiayi Yin, Yang Yang, Yisheng Lv, Zhen Lei,
- Abstract要約: AccidentBlip2は、事故検出のための視覚ベースの多モード大型Blip2である。
本手法は, 単車/多車両システムにおける検出精度において, 既存のビデオ大言語モデルより優れる。
- 参考スコア（独自算出の注目度）: 27.693618787748548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intelligent vehicles have demonstrated excellent capabilities in many transportation scenarios. The inference capabilities of neural networks using cameras limit the accuracy of accident detection in complex transportation systems. This paper presents AccidentBlip2, a pure vision-based multi-modal large model Blip2 for accident detection. Our method first processes the multi-view images through ViT-14g and sends the multi-view features into the cross-attention layer of Q-Former. Different from Blip2's Q-Former, our Motion Q-Former extends the self-attention layer with the temporal-attention layer. In the inference process, the queries generated from previous frames are input into Motion Q-Former to aggregate temporal information. Queries are updated with an auto-regressive strategy and are sent to a MLP to detect whether there is an accident in the surrounding environment. Our AccidentBlip2 can be extended to a multi-vehicle cooperative system by deploying Motion Q-Former on each vehicle and simultaneously fusing the generated queries into the MLP for auto-regressive inference. Our approach outperforms existing video large language models in detection accuracy in both single-vehicle and multi-vehicle systems.
- Abstract（参考訳）: インテリジェントな車両は多くの輸送シナリオにおいて優れた能力を示した。
カメラを用いたニューラルネットワークの推論能力は、複雑な輸送システムにおける事故検出の精度を制限する。
本稿では,AccidentBlip2を提案する。
提案手法はまず,VT-14gを介してマルチビュー画像を処理し,マルチビュー特徴をQ-Formerのクロスアテンション層に送信する。
Blip2のQ-Formerとは異なり、Motion Q-Formerは時間的アテンション層で自己アテンション層を拡張する。
推論プロセスでは、前のフレームから生成されたクエリをMotion Q-Formerに入力し、時間情報を集約する。
クエリは自動回帰戦略で更新され、MLPに送られ、周囲の環境に事故があるかどうかを検出する。
私たちのAccidentBlip2は、各車両にMotion Q-Formerを配置し、自動回帰推論のために生成されたクエリをMLPに融合することにより、複数車両の協調システムに拡張することができる。
本手法は, 単車/多車両システムにおける検出精度において, 既存のビデオ大言語モデルより優れる。
関連論文リスト
- AVD2: Accident Video Diffusion for Accident Video Description [11.221276595088215]
AVD2(Accident Video Diffusion for Accident Video Description)は,事故現場の理解を高める新しいフレームワークである。
このフレームワークは、自然言語の詳細な記述や推論と一致した事故ビデオを生成する。
EMM-AUデータセットの統合は、自動メトリクスと人的評価の両方にわたって最先端のパフォーマンスを確立する。
論文 参考訳（メタデータ） (2025-02-20T18:22:44Z) - CRASH: Crash Recognition and Anticipation System Harnessing with Context-Aware and Temporal Focus Attentions [13.981748780317329]
カメラ映像から周囲の交通機関の事故を正確にかつ迅速に予測することは、自動運転車(AV)の安全性に不可欠である
本研究は, CRASH と呼ばれる, AV の新たな事故予測フレームワークを提案する。
オブジェクト検出、特徴抽出、オブジェクト認識モジュール、コンテキスト認識モジュール、多層融合の5つのコンポーネントをシームレスに統合する。
私たちのモデルは、平均精度(AP)や平均到達時間(mTTA)といった重要な評価指標において、既存のトップベースラインを超えています。
論文 参考訳（メタデータ） (2024-07-25T04:12:49Z) - When, Where, and What? A Novel Benchmark for Accident Anticipation and Localization with Large Language Models [14.090582912396467]
本研究では,複数の次元にわたる予測能力を高めるために,LLM(Large Language Models)を統合した新しいフレームワークを提案する。
複雑な運転シーンにおけるリスクの高い要素の優先順位を動的に調整する,革新的なチェーンベースアテンション機構を開発した。
DAD, CCD, A3Dデータセットの実証的検証は平均精度(AP)と平均時間到達精度(mTTA)において優れた性能を示す
論文 参考訳（メタデータ） (2024-07-23T08:29:49Z) - Edge-Assisted ML-Aided Uncertainty-Aware Vehicle Collision Avoidance at Urban Intersections [12.812518632907771]
都市横断路におけるプリエンプティブ衝突を検出する新しい枠組みを提案する。
5Gネットワークのマルチアクセスエッジコンピューティングプラットフォームを利用する。
論文 参考訳（メタデータ） (2024-04-22T18:45:40Z) - SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。
提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。
複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳（メタデータ） (2023-12-31T04:14:43Z) - Learned Risk Metric Maps for Kinodynamic Systems [54.49871675894546]
本研究では,高次元力学系のコヒーレントリスクメトリクスをリアルタイムに推定するための学習型リスクメトリクスマップを提案する。
LRMMモデルは設計と訓練が簡単で、障害セットの手続き的生成、状態と制御のサンプリング、および関数近似器の教師付きトレーニングのみを必要とする。
論文 参考訳（メタデータ） (2023-02-28T17:51:43Z) - Augmenting Ego-Vehicle for Traffic Near-Miss and Accident Classification
Dataset using Manipulating Conditional Style Translation [0.3441021278275805]
事故が起こる前の事故と近距離事故には差はない。
我々の貢献は、事故の定義を再定義し、DADA-2000データセットにおける事故の不整合を再注釈することである。
提案手法は、条件付きスタイル変換(CST)と分離可能な3次元畳み込みニューラルネットワーク(S3D)の2つの異なるコンポーネントを統合する。
論文 参考訳（メタデータ） (2023-01-06T22:04:47Z) - Cognitive Accident Prediction in Driving Scenes: A Multimodality
Benchmark [77.54411007883962]
本研究では,視覚的観察と運転者の注意に対する人為的な文章記述の認識を効果的に活用し,モデルトレーニングを容易にする認知事故予測手法を提案する。
CAPは、注意テキスト〜ビジョンシフト融合モジュール、注意シーンコンテキスト転送モジュール、運転注意誘導事故予測モジュールによって構成される。
我々は,1,727件の事故ビデオと219万フレーム以上の大規模ベンチマークを構築した。
論文 参考訳（メタデータ） (2022-12-19T11:43:02Z) - Congestion-aware Multi-agent Trajectory Prediction for Collision
Avoidance [110.63037190641414]
渋滞パターンを明示的に学習し、新しい「センス--学習--Reason--予測」フレームワークを考案する。
学習段階を2段階に分解することで、「学生」は「教師」から文脈的手がかりを学習し、衝突のない軌跡を生成する。
実験では,提案モデルが合成データセットにおいて衝突のない軌道予測を生成できることを実証する。
論文 参考訳（メタデータ） (2021-03-26T02:42:33Z) - Generating and Characterizing Scenarios for Safety Testing of Autonomous
Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。
次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。
事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文 参考訳（メタデータ） (2021-03-12T17:00:23Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳（メタデータ） (2020-07-28T07:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。