論文の概要: Context Recovery and Knowledge Retrieval: A Novel Two-Stream Framework
for Video Anomaly Detection
- arxiv url: http://arxiv.org/abs/2209.02899v1
- Date: Wed, 7 Sep 2022 03:12:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-08 12:30:19.209011
- Title: Context Recovery and Knowledge Retrieval: A Novel Two-Stream Framework
for Video Anomaly Detection
- Title（参考訳）: コンテキストリカバリと知識検索 : 映像異常検出のための新しい2ストリームフレームワーク
- Authors: Congqi Cao, Yue Lu and Yanning Zhang
- Abstract要約: 本稿では,文脈回復と知識検索に基づく2ストリームフレームワークを提案する。
文脈回復ストリームに対しては,動き情報を完全に活用して将来のフレームを予測するU-Netを提案する。
知識検索ストリームに対して,学習可能な局所性に敏感なハッシュを提案する。
正規性に関する知識をハッシュテーブルにエンコードして格納し、テストイベントと知識表現の間の距離を用いて異常の確率を明らかにする。
- 参考スコア（独自算出の注目度）: 48.05512963355003
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Video anomaly detection aims to find the events in a video that do not
conform to the expected behavior. The prevalent methods mainly detect anomalies
by snippet reconstruction or future frame prediction error. However, the error
is highly dependent on the local context of the current snippet and lacks the
understanding of normality. To address this issue, we propose to detect
anomalous events not only by the local context, but also according to the
consistency between the testing event and the knowledge about normality from
the training data. Concretely, we propose a novel two-stream framework based on
context recovery and knowledge retrieval, where the two streams can complement
each other. For the context recovery stream, we propose a spatiotemporal U-Net
which can fully utilize the motion information to predict the future frame.
Furthermore, we propose a maximum local error mechanism to alleviate the
problem of large recovery errors caused by complex foreground objects. For the
knowledge retrieval stream, we propose an improved learnable locality-sensitive
hashing, which optimizes hash functions via a Siamese network and a mutual
difference loss. The knowledge about normality is encoded and stored in hash
tables, and the distance between the testing event and the knowledge
representation is used to reveal the probability of anomaly. Finally, we fuse
the anomaly scores from the two streams to detect anomalies. Extensive
experiments demonstrate the effectiveness and complementarity of the two
streams, whereby the proposed two-stream framework achieves state-of-the-art
performance on four datasets.
- Abstract（参考訳）: ビデオ異常検出は、期待された動作に適合しないビデオ内のイベントを見つけることを目的としている。
一般的な手法は主にスニペット再構成や将来のフレーム予測誤差によって異常を検出する。
しかし、エラーは現在のスニペットのローカルコンテキストに大きく依存しており、正規性の理解が欠けている。
この問題に対処するために,我々は,局所的な文脈だけでなく,テストイベントとトレーニングデータからの正規性に関する知識との一貫性にもとづく異常事象の検出を提案する。
具体的には,2つのストリームが相互に補完できる,文脈回復と知識検索に基づく新しい2ストリームフレームワークを提案する。
文脈回復ストリームでは,動き情報をフル活用して将来のフレームを予測できる時空間U-Netを提案する。
さらに,複雑なフォアグラウンドオブジェクトによる大規模なリカバリエラーの問題を軽減するために,最大局所誤差機構を提案する。
知識検索ストリームに対して,学習可能な局所性に敏感なハッシュ方式を提案し,シャムネットワークによるハッシュ関数と相互差分損失を最適化する。
正規性に関する知識はハッシュテーブルにエンコードされ、テストイベントと知識表現との間の距離は異常の確率を明らかにするために使用される。
最後に,2つのストリームから異常スコアを融合して異常を検出する。
大規模な実験では、2つのストリームの有効性と相補性を示し、提案した2ストリームフレームワークは4つのデータセットで最先端のパフォーマンスを達成する。
関連論文リスト
- Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。
提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-12T03:31:29Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - Making Reconstruction-based Method Great Again for Video Anomaly
Detection [64.19326819088563]
ビデオの異常検出は重要な問題だが、難しい問題だ。
既存の再構成に基づく手法は、昔ながらの畳み込みオートエンコーダに依存している。
連続フレーム再構築のための新しいオートエンコーダモデルを提案する。
論文 参考訳（メタデータ） (2023-01-28T01:57:57Z) - Spatio-Temporal-based Context Fusion for Video Anomaly Detection [1.7710335706046505]
ビデオ異常はビデオ内の異常な事象を発見することを目的としており、主な対象は人や車などの対象物である。
既存のほとんどの手法は、異常検出における空間的コンテキストの役割を無視して、時間的コンテキストのみに焦点を当てている。
本稿では,目標時間文脈融合に基づくビデオ異常検出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-18T04:07:10Z) - Multi-Contextual Predictions with Vision Transformer for Video Anomaly
Detection [22.098399083491937]
ビデオの時間的文脈を理解することは、異常検出において重要な役割を果たす。
我々は3つの異なる文脈予測ストリームを持つトランスモデルを設計する。
連続する正常フレームの欠落フレームの予測を学習することにより、ビデオ内の様々な正常パターンを効果的に学習することができる。
論文 参考訳（メタデータ） (2022-06-17T05:54:31Z) - Discrete neural representations for explainable anomaly detection [25.929134751869032]
オブジェクトやアクション分類器を使わずに、異常を頑健に検出する方法を示す。
また、ビデオの離散表現を学習するために、新しいニューラルアーキテクチャを用いて、サリエンシマップの品質を改善する方法を示す。
論文 参考訳（メタデータ） (2021-12-10T14:56:58Z) - Convolutional Transformer based Dual Discriminator Generative
Adversarial Networks for Video Anomaly Detection [27.433162897608543]
本稿では,CT-D2GAN(Conversaal Transformer based Dual Discriminator Generative Adrial Networks)を提案する。
これには、入力クリップの空間情報をキャプチャする畳み込みエンコーダ(convolutional encoder)と、時間的ダイナミクスをエンコードして将来のフレームを予測する時間的自己アテンションモジュール(temporal self-attention module)という3つのキーコンポーネントが含まれている。
論文 参考訳（メタデータ） (2021-07-29T03:07:25Z) - Robust Unsupervised Video Anomaly Detection by Multi-Path Frame
Prediction [61.17654438176999]
本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。
提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
論文 参考訳（メタデータ） (2020-11-05T11:34:12Z) - A Background-Agnostic Framework with Adversarial Training for Abnormal
Event Detection in Video [120.18562044084678]
近年,ビデオにおける異常事象検出は複雑なコンピュータビジョンの問題として注目されている。
通常のイベントのみを含むトレーニングビデオから学習するバックグラウンドに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-27T18:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。