論文の概要: AccidentBlip2: Accident Detection With Multi-View MotionBlip2
- arxiv url: http://arxiv.org/abs/2404.12149v1
- Date: Thu, 18 Apr 2024 12:54:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 12:31:46.714603
- Title: AccidentBlip2: Accident Detection With Multi-View MotionBlip2
- Title（参考訳）: AccidentBlip2:Multi-View MotionBlip2による事故検出
- Authors: Yihua Shao, Hongyi Cai, Wenxin Long, Weiyi Lang, Zhe Wang, Haoran Wu, Yan Wang, Yang Yang, Zhen Lei,
- Abstract要約: AccidentBlip2は、事故リスクが発生するかどうかをリアルタイムで予測できるマルチモーダルな大規模言語モデルである。
AccidentBlip2は、いかなるBEVイメージやLiDARにも依存せず、推論パラメータの数と推論コストを大幅に削減することができる。
- 参考スコア（独自算出の注目度）: 20.09374579017381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) have shown outstanding capabilities in many areas of multimodal reasoning. Therefore, we use the reasoning ability of Multimodal Large Language Models for environment description and scene understanding in complex transportation environments. In this paper, we propose AccidentBlip2, a multimodal large language model that can predict in real time whether an accident risk will occur. Our approach involves feature extraction based on the temporal scene of the six-view surround view graphs and temporal inference using the temporal blip framework through the vision transformer. We then input the generated temporal token into the MLLMs for inference to determine whether an accident will occur or not. Since AccidentBlip2 does not rely on any BEV images and LiDAR, the number of inference parameters and the inference cost of MLLMs can be significantly reduced, and it also does not incur a large training overhead during training. AccidentBlip2 outperforms existing solutions on the DeepAccident dataset and can also provide a reference solution for end-to-end automated driving accident prediction.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、多モーダル推論の多くの分野で際立った能力を示している。
そこで我々は,複雑な交通環境における環境記述とシーン理解のために,マルチモーダル大規模言語モデルの推論能力を利用する。
本稿では,事故リスクをリアルタイムに予測できる多モーダル大規模言語モデルであるAccidentBlip2を提案する。
提案手法は,視覚変換器による6次元サラウンドビューグラフの時間的シーンに基づく特徴抽出と,時間的ブリップフレームワークを用いた時間的推測を含む。
次に、発生した時間トークンをMLLMに入力し、事故が発生するか否かを推測する。
AccidentBlip2はいかなるBEV画像やLiDARにも依存しないため、MLLMの推論パラメータの数と推論コストは大幅に削減され、トレーニング中に大きなトレーニングオーバーヘッドを発生させることはない。
AccidentBlip2はDeepAccidentデータセットの既存のソリューションよりも優れており、エンドツーエンドの自動運転事故予測のリファレンスソリューションを提供することもできる。
関連論文リスト
- Enhancing In-vehicle Multiple Object Tracking Systems with Embeddable Ising Machines [0.10485739694839666]
フレキシブルな割り当て機能を備えた車内複数物体追跡システムについて述べる。
このシステムは、シミュレート・バイフルケーション(simulated bifurcation)と呼ばれる量子インスパイアされたアルゴリズムに基づく埋め込み可能なIsingマシンに依存している。
車両搭載型コンピューティングプラットフォームを用いて,拡張機能を備えたリアルタイムシステムワイドスループット(平均23フレーム/秒)を実演する。
論文 参考訳（メタデータ） (2024-10-18T00:18:27Z) - Scalable Multi-modal Model Predictive Control via Duality-based Interaction Predictions [8.256630421682951]
RAID-Netは、モデル予測制御(MPC)予測地平線に沿って関連する相互作用を予測する、注目に基づく新しいリカレントニューラルネットワークである。
本手法は, 移動計画問題の解法において, 12倍のスピードアップを示した。
論文 参考訳（メタデータ） (2024-02-02T03:19:54Z) - Exploring Highly Quantised Neural Networks for Intrusion Detection in
Automotive CAN [13.581341206178525]
機械学習に基づく侵入検出モデルは、標的となる攻撃ベクトルを複数検出することに成功した。
本稿では,多クラス分類モデルとしてのカスタム量子化文学(CQMLP)について述べる。
IDSとして統合された2ビットCQMLPモデルでは、悪意のある攻撃メッセージを99.9%の精度で検出できることが示されている。
論文 参考訳（メタデータ） (2024-01-19T21:11:02Z) - A Memory-Augmented Multi-Task Collaborative Framework for Unsupervised
Traffic Accident Detection in Driving Videos [22.553356096143734]
本稿では,運転ビデオにおける教師なし交通事故検出のためのメモリ拡張型マルチタスク協調フレームワーク(MAMTCF)を提案する。
映像フレームの外観変化と物体の動きを同時にモデル化することにより,エゴ関連事故と非エゴ関連事故の両方をより正確に検出することができる。
論文 参考訳（メタデータ） (2023-07-27T01:45:13Z) - MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form
Video Question Answering [73.61182342844639]
我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。
MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。
異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
論文 参考訳（メタデータ） (2022-12-19T15:05:40Z) - Multi-Modal Few-Shot Temporal Action Detection [157.96194484236483]
Few-shot (FS) と Zero-shot (ZS) の学習は、時間的行動検出を新しいクラスに拡張するための2つの異なるアプローチである。
我々は、FS-TADとZS-TADの結婚として考えられるMMFS (Multi-modality few-shot) TAD問題を導入する。
論文 参考訳（メタデータ） (2022-11-27T18:13:05Z) - A Driving Behavior Recognition Model with Bi-LSTM and Multi-Scale CNN [59.57221522897815]
運転行動認識のための軌道情報に基づくニューラルネットワークモデルを提案する。
提案手法を公開BLVDデータセット上で評価し,満足な性能を実現する。
論文 参考訳（メタデータ） (2021-03-01T06:47:29Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳（メタデータ） (2020-12-15T03:03:38Z) - MVLidarNet: Real-Time Multi-Class Scene Understanding for Autonomous
Driving Using Multiple Views [60.538802124885414]
マルチビューLidarNet(MVLidarNet)は,多層物体検出とドライビング空間分割のための2段階のディープニューラルネットワークである。
MVLidarNetは、単一のLiDARスキャンを入力として、乾燥可能な空間を同時に決定しながら、オブジェクトを検出し、分類することができる。
我々は、KITTIとはるかに大きな内部データセットの両方で結果を示し、その方法が桁違いにスケールできることを実証する。
論文 参考訳（メタデータ） (2020-06-09T21:28:17Z) - Dense-Caption Matching and Frame-Selection Gating for Temporal
Localization in VideoQA [96.10612095576333]
本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。
また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。
当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-05-13T16:35:27Z) - Traffic Signs Detection and Recognition System using Deep Learning [0.0]
本稿では,交通標識をリアルタイムに検出・認識するためのアプローチについて述べる。
マルチオブジェクト検出システムの最先端技術を用いて,交通信号検出問題に取り組む。
この論文の焦点は、F-RCNN Inception v2とTiny YOLO v2が最高の結果を得たときのものである。
論文 参考訳（メタデータ） (2020-03-06T14:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。