論文の概要: Learn Suspected Anomalies from Event Prompts for Video Anomaly Detection

• arxiv url: http://arxiv.org/abs/2403.01169v2
• Date: Tue, 3 Sep 2024 03:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 19:15:46.417466
• Title: Learn Suspected Anomalies from Event Prompts for Video Anomaly Detection
• Title（参考訳）: ビデオ異常検出のためのイベントプロンプトからの疑似異常の学習
• Authors: Chenchen Tao, Xiaohao Peng, Chong Wang, Jiafei Wu, Puning Zhao, Jun Wang, Jiangbo Qian,
• Abstract要約: イベントプロンプトから疑わしい異常の学習を導くための新しい枠組みが提案されている。 これにより、新しいマルチプロンプト学習プロセスにより、すべてのビデオの視覚的セマンティックな特徴を制限できる。 提案手法はAPやAUCといった最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 16.77262005540559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most models for weakly supervised video anomaly detection (WS-VAD) rely on multiple instance learning, aiming to distinguish normal and abnormal snippets without specifying the type of anomaly. However, the ambiguous nature of anomaly definitions across contexts may introduce inaccuracy in discriminating abnormal and normal events. To show the model what is anomalous, a novel framework is proposed to guide the learning of suspected anomalies from event prompts. Given a textual prompt dictionary of potential anomaly events and the captions generated from anomaly videos, the semantic anomaly similarity between them could be calculated to identify the suspected events for each video snippet. It enables a new multi-prompt learning process to constrain the visual-semantic features across all videos, as well as provides a new way to label pseudo anomalies for self-training. To demonstrate its effectiveness, comprehensive experiments and detailed ablation studies are conducted on four datasets, namely XD-Violence, UCF-Crime, TAD, and ShanghaiTech. Our proposed model outperforms most state-of-the-art methods in terms of AP or AUC (86.5\%, \hl{90.4}\%, 94.4\%, and 97.4\%). Furthermore, it shows promising performance in open-set and cross-dataset cases. The data, code, and models can be found at: \url{https://github.com/shiwoaz/lap}.
• Abstract（参考訳）: 弱教師付きビデオ異常検出(WS-VAD)のためのほとんどのモデルは、異常の種類を特定することなく、正常なスニペットと異常なスニペットを区別することを目的として、複数のインスタンス学習に依存している。 しかし、文脈間での異常定義の不明瞭な性質は、異常事象と正常事象の識別に不正確をもたらす可能性がある。 モデルが異常であることを示すため、イベントプロンプトから疑わしい異常の学習を導くための新しい枠組みが提案されている。 潜在的な異常事象と、異常ビデオから生成されたキャプションのテキスト・プロンプト辞書が与えられた場合、それら間の意味的異常類似性を計算し、ビデオスニペット毎に疑わしい事象を特定する。 これにより、新しいマルチプロンプト学習プロセスにより、すべてのビデオの視覚的セマンティックな特徴を制限し、また、擬似異常を自己学習のためにラベル付けする新しい方法を提供する。 その効果を示すために、XD-Violence、UCF-Crime、TAD、ShanghaiTechの4つのデータセットで包括的な実験と詳細なアブレーション研究を行った。 提案手法は,AP や AUC (86.5 %, \hl{90.4}\%, 94.4\%, 97.4\%) で最先端の手法よりも優れている。 さらに、オープンセットおよびクロスデータセットのケースで有望なパフォーマンスを示す。 データ、コード、モデルは以下の通りである。

関連論文リスト

• Fine-grained Abnormality Prompt Learning for Zero-shot Anomaly Detection [88.34095233600719]
  FAPromptは、より正確なZSADのためにきめ細かい異常プロンプトを学習するために設計された新しいフレームワークである。 画像レベルおよび画素レベルのZSADタスクにおいて、最先端の手法を少なくとも3%-5%のAUC/APで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-10-14T08:41:31Z)
• VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
  VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。 我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。 我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:01Z)
• Open-Vocabulary Video Anomaly Detection [57.552523669351636]
  監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。 近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。 本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
  論文  参考訳（メタデータ） (2023-11-13T02:54:17Z)
• Anomaly Crossing: A New Method for Video Anomaly Detection as Cross-domain Few-shot Learning [32.0713939637202]
  ビデオ異常検出は、ビデオで発生した異常事象を特定することを目的としている。 従来のアプローチのほとんどは、教師なしまたは半教師なしの手法で通常のビデオからのみ学習する。 本稿では,ビデオの異常検出に通常のビデオと異常ビデオの両方をフル活用することで,新たな学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-12-12T20:49:38Z)
• UBnormal: New Benchmark for Supervised Open-Set Video Anomaly Detection [103.06327681038304]
  本稿では,複数の仮想シーンで構成された教師付きオープンセット・ベンチマークを提案する。 既存のデータセットとは異なり、トレーニング時に画素レベルでアノテートされた異常事象を導入する。 UBnormalは最先端の異常検出フレームワークの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-11-16T17:28:46Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Unsupervised Video Anomaly Detection via Normalizing Flows with Implicit Latent Features [8.407188666535506]
  既存のほとんどのメソッドはオートエンコーダを使用して、通常のビデオの再構築を学ぶ。 本稿では2つのエンコーダが暗黙的に外観と動きの特徴をモデル化する構造である暗黙の2経路AE(ITAE)を提案する。 通常のシーンの複雑な分布については,ITAE特徴量の正規密度推定を提案する。 NFモデルは暗黙的に学習された機能を通じて正常性を学ぶことでITAEのパフォーマンスを高める。
  論文  参考訳（メタデータ） (2020-10-15T05:02:02Z)
• A Background-Agnostic Framework with Adversarial Training for Abnormal Event Detection in Video [120.18562044084678]
  近年,ビデオにおける異常事象検出は複雑なコンピュータビジョンの問題として注目されている。 通常のイベントのみを含むトレーニングビデオから学習するバックグラウンドに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-27T18:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。