論文の概要: Language-guided Open-world Video Anomaly Detection

• arxiv url: http://arxiv.org/abs/2503.13160v1
• Date: Mon, 17 Mar 2025 13:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:11.927549
• Title: Language-guided Open-world Video Anomaly Detection
• Title（参考訳）: 言語誘導型オープンワールドビデオ異常検出
• Authors: Zihao Liu, Xiaoyu Wu, Jianqin Wu, Xuxu Wang, Linlin Yang,
• Abstract要約: ビデオ異常検出モデルは、期待から外れた異常を検出することを目的としている。 既存の方法では、異常の定義は不変であり、したがって開世界に適用できないと仮定している。 本稿では,ユーザが提案する自然言語を推論時にガイド付き検出できる,可変定義を持つ新しいオープンワールドVADパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 11.65207018549981
• License:
• Abstract: Video anomaly detection models aim to detect anomalies that deviate from what is expected. In open-world scenarios, the expected events may change as requirements change. For example, not wearing a mask is considered abnormal during a flu outbreak but normal otherwise. However, existing methods assume that the definition of anomalies is invariable, and thus are not applicable to the open world. To address this, we propose a novel open-world VAD paradigm with variable definitions, allowing guided detection through user-provided natural language at inference time. This paradigm necessitates establishing a robust mapping from video and textual definition to anomaly score. Therefore, we propose LaGoVAD (Language-guided Open-world VAD), a model that dynamically adapts anomaly definitions through two regularization strategies: diversifying the relative durations of anomalies via dynamic video synthesis, and enhancing feature robustness through contrastive learning with negative mining. Training such adaptable models requires diverse anomaly definitions, but existing datasets typically provide given labels without semantic descriptions. To bridge this gap, we collect PreVAD (Pre-training Video Anomaly Dataset), the largest and most diverse video anomaly dataset to date, featuring 35,279 annotated videos with multi-level category labels and descriptions that explicitly define anomalies. Zero-shot experiments on seven datasets demonstrate SOTA performance. Data and code will be released.
• Abstract（参考訳）: ビデオ異常検出モデルは、期待から外れた異常を検出することを目的としている。 オープンワールドのシナリオでは、要件が変わるにつれて、期待されるイベントが変わる可能性がある。 例えば、マスクを着用しないことは、インフルエンザの流行時に異常とされるが、それ以外の場合は正常である。 しかし、既存の手法では、異常の定義は不変であり、したがってオープンワールドには適用できないと仮定している。 そこで本稿では,ユーザが提案する自然言語を推論時にガイド付き検出する,可変定義を持つ新しいオープンワールドVADパラダイムを提案する。 このパラダイムは、ビデオとテキスト定義から異常スコアへの堅牢なマッピングを確立する必要がある。 そこで我々は,2つの正規化戦略により異常定義を動的に適応させるモデルであるLaGoVAD(Language-guided Open World VAD)を提案している。 このような適応可能なモデルのトレーニングには、さまざまな異常定義が必要だが、既存のデータセットは通常、セマンティックな記述なしでラベルを提供する。 このギャップを埋めるために,これまでに最大かつ最も多様なビデオ異常データセットであるPreVAD(Pre-training Video Anomaly Dataset)を収集した。 7つのデータセットのゼロショット実験は、SOTAのパフォーマンスを示している。 データとコードはリリースされる。

関連論文リスト

• Fine-grained Abnormality Prompt Learning for Zero-shot Anomaly Detection [88.34095233600719]
  FAPromptは、より正確なZSADのためにきめ細かい異常プロンプトを学習するために設計された新しいフレームワークである。 画像レベルおよび画素レベルのZSADタスクにおいて、最先端の手法を少なくとも3%-5%のAUC/APで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-10-14T08:41:31Z)
• VANE-Bench: Video Anomaly Evaluation Benchmark for Conversational LMMs [64.60035916955837]
  VANE-Benchはビデオの異常や矛盾を検出するためのビデオLMMの熟練度を評価するために設計されたベンチマークである。 我々のデータセットは、既存の最先端のテキスト・ビデオ生成モデルを用いて合成された一連のビデオから構成される。 我々は、このベンチマークタスクにおいて、オープンソースとクローズドソースの両方で既存の9つのビデオLMMを評価し、ほとんどのモデルが微妙な異常を効果的に識別するのに困難に直面することを発見した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:01Z)
• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 我々はコンテキスト拡張を通じて学習するCon$を提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• Learn Suspected Anomalies from Event Prompts for Video Anomaly Detection [16.77262005540559]
  イベントプロンプトから疑わしい異常の学習を導くための新しい枠組みが提案されている。 これにより、新しいマルチプロンプト学習プロセスにより、すべてのビデオの視覚的セマンティックな特徴を制限できる。 提案手法はAPやAUCといった最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-02T10:42:47Z)
• Open-Vocabulary Video Anomaly Detection [57.552523669351636]
  監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。 近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。 本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
  論文  参考訳（メタデータ） (2023-11-13T02:54:17Z)
• UBnormal: New Benchmark for Supervised Open-Set Video Anomaly Detection [103.06327681038304]
  本稿では,複数の仮想シーンで構成された教師付きオープンセット・ベンチマークを提案する。 既存のデータセットとは異なり、トレーニング時に画素レベルでアノテートされた異常事象を導入する。 UBnormalは最先端の異常検出フレームワークの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-11-16T17:28:46Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Unsupervised Video Anomaly Detection via Normalizing Flows with Implicit Latent Features [8.407188666535506]
  既存のほとんどのメソッドはオートエンコーダを使用して、通常のビデオの再構築を学ぶ。 本稿では2つのエンコーダが暗黙的に外観と動きの特徴をモデル化する構造である暗黙の2経路AE(ITAE)を提案する。 通常のシーンの複雑な分布については,ITAE特徴量の正規密度推定を提案する。 NFモデルは暗黙的に学習された機能を通じて正常性を学ぶことでITAEのパフォーマンスを高める。
  論文  参考訳（メタデータ） (2020-10-15T05:02:02Z)
• Localizing Anomalies from Weakly-Labeled Videos [45.58643708315132]
  Weakly Supervised Anomaly Localization (WSAL)法を提案する。 異常映像の出現差にインスパイアされ, 隣接する時間領域の進化を異常映像の局所化のために評価した。 提案手法は,UCF-CrimeおよびTADデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-08-20T12:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。