論文の概要: Learn Suspected Anomalies from Event Prompts for Video Anomaly Detection
- arxiv url: http://arxiv.org/abs/2403.01169v1
- Date: Sat, 2 Mar 2024 10:42:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 14:59:31.515589
- Title: Learn Suspected Anomalies from Event Prompts for Video Anomaly Detection
- Title（参考訳）: ビデオ異常検出のためのイベントプロンプトからの疑似異常の学習
- Authors: Chenchen Tao, Chong Wang, Yuexian Zou, Xiaohao Peng, Jiafei Wu and
Jiangbo Qian
- Abstract要約: イベントプロンプトから疑わしい異常の学習を導くための新しい枠組みが提案されている。
これにより、新しいマルチプロンプト学習プロセスにより、すべてのビデオの視覚的セマンティックな特徴を制限できる。
提案手法はAPやAUCといった最先端の手法よりも優れている。
- 参考スコア（独自算出の注目度）: 49.91075101563298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most models for weakly supervised video anomaly detection (WS-VAD) rely on
multiple instance learning, aiming to distinguish normal and abnormal snippets
without specifying the type of anomaly. The ambiguous nature of anomaly
definitions across contexts introduces bias in detecting abnormal and normal
snippets within the abnormal bag. Taking the first step to show the model why
it is anomalous, a novel framework is proposed to guide the learning of
suspected anomalies from event prompts. Given a textual prompt dictionary of
potential anomaly events and the captions generated from anomaly videos, the
semantic anomaly similarity between them could be calculated to identify the
suspected anomalous events for each video snippet. It enables a new
multi-prompt learning process to constrain the visual-semantic features across
all videos, as well as provides a new way to label pseudo anomalies for
self-training. To demonstrate effectiveness, comprehensive experiments and
detailed ablation studies are conducted on four datasets, namely XD-Violence,
UCF-Crime, TAD, and ShanghaiTech. Our proposed model outperforms most
state-of-the-art methods in terms of AP or AUC (82.6\%, 87.7\%, 93.1\%, and
97.4\%). Furthermore, it shows promising performance in open-set and
cross-dataset cases.
- Abstract（参考訳）: 弱い教師付きビデオ異常検出(ws-vad)のためのほとんどのモデルは、複数のインスタンス学習に依存しており、異常の種類を指定することなく、正常スニペットと異常スニペットを区別することを目指している。
コンテキスト間の異常定義の不明瞭な性質は、異常バッグ内の異常および正常なスニペットを検出するバイアスをもたらす。
異常である理由をモデルに示す第一歩として,イベントプロンプトから疑わしい異常を学習するための新しい枠組みを提案する。
潜在的な異常イベントと異常ビデオから生成されたキャプションのテキスト的プロンプト辞書を考えると、それらの意味的異常類似性は、各ビデオスニペットの異常事象を識別するために計算できる。
これは、新しいマルチプロンプト学習プロセスにより、すべてのビデオで視覚的な特徴を制限できるだけでなく、擬似異常をラベル付けして自己学習する新しい方法を提供する。
有効性を示すために, xd-violence, ucf-crime, tad, shanghaitechの4つのデータセットについて包括的実験と詳細なアブレーション実験を行った。
提案手法は,AP や AUC (82.6 %,87.7 %,93.1 %,97.4 %) の最先端手法よりも優れている。
さらに、オープンセットおよびクロスデータセットケースで有望なパフォーマンスを示す。
関連論文リスト
- Fine-grained Abnormality Prompt Learning for Zero-shot Anomaly Detection [88.34095233600719]
FAPromptは、より正確なZSADのためにきめ細かい異常プロンプトを学習するために設計された新しいフレームワークである。
画像レベルおよび画素レベルのZSADタスクにおいて、最先端の手法を少なくとも3%-5%のAUC/APで大幅に上回っている。
論文 参考訳（メタデータ） (2024-10-14T08:41:31Z) - VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。
我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。
我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
論文 参考訳（メタデータ） (2024-06-14T17:59:01Z) - Open-Vocabulary Video Anomaly Detection [57.552523669351636]
監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。
近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。
本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
論文 参考訳（メタデータ） (2023-11-13T02:54:17Z) - Anomaly Crossing: A New Method for Video Anomaly Detection as
Cross-domain Few-shot Learning [32.0713939637202]
ビデオ異常検出は、ビデオで発生した異常事象を特定することを目的としている。
従来のアプローチのほとんどは、教師なしまたは半教師なしの手法で通常のビデオからのみ学習する。
本稿では,ビデオの異常検出に通常のビデオと異常ビデオの両方をフル活用することで,新たな学習パラダイムを提案する。
論文 参考訳（メタデータ） (2021-12-12T20:49:38Z) - UBnormal: New Benchmark for Supervised Open-Set Video Anomaly Detection [103.06327681038304]
本稿では,複数の仮想シーンで構成された教師付きオープンセット・ベンチマークを提案する。
既存のデータセットとは異なり、トレーニング時に画素レベルでアノテートされた異常事象を導入する。
UBnormalは最先端の異常検出フレームワークの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-11-16T17:28:46Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳（メタデータ） (2021-08-01T14:33:17Z) - Unsupervised Video Anomaly Detection via Normalizing Flows with Implicit
Latent Features [8.407188666535506]
既存のほとんどのメソッドはオートエンコーダを使用して、通常のビデオの再構築を学ぶ。
本稿では2つのエンコーダが暗黙的に外観と動きの特徴をモデル化する構造である暗黙の2経路AE(ITAE)を提案する。
通常のシーンの複雑な分布については,ITAE特徴量の正規密度推定を提案する。
NFモデルは暗黙的に学習された機能を通じて正常性を学ぶことでITAEのパフォーマンスを高める。
論文 参考訳（メタデータ） (2020-10-15T05:02:02Z) - A Background-Agnostic Framework with Adversarial Training for Abnormal
Event Detection in Video [120.18562044084678]
近年,ビデオにおける異常事象検出は複雑なコンピュータビジョンの問題として注目されている。
通常のイベントのみを含むトレーニングビデオから学習するバックグラウンドに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-27T18:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。