論文の概要: Temporal Divide-and-Conquer Anomaly Actions Localization in Semi-Supervised Videos with Hierarchical Transformer
- arxiv url: http://arxiv.org/abs/2408.13643v1
- Date: Sat, 24 Aug 2024 18:12:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 18:39:37.563605
- Title: Temporal Divide-and-Conquer Anomaly Actions Localization in Semi-Supervised Videos with Hierarchical Transformer
- Title（参考訳）: 階層変換器を用いた半監督映像における時間分割・コンカレント異常動作の局在化
- Authors: Nada Osman, Marwan Torki,
- Abstract要約: 異常な行動の検出と位置決めは、セキュリティと高度な監視システムにおいて重要な役割を果たす。
本稿では,異常ビデオにおける観察行動の重要性を評価するために,階層型トランスフォーマーモデルを提案する。
本手法は, 親映像を階層的に複数の時間的児童事例に区分し, 親映像の異常の分類における子ノードの影響を計測する。
- 参考スコア（独自算出の注目度）: 0.9208007322096532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Anomaly action detection and localization play an essential role in security and advanced surveillance systems. However, due to the tremendous amount of surveillance videos, most of the available data for the task is unlabeled or semi-labeled with the video class known, but the location of the anomaly event is unknown. In this work, we target anomaly localization in semi-supervised videos. While the mainstream direction in addressing this task is focused on segment-level multi-instance learning and the generation of pseudo labels, we aim to explore a promising yet unfulfilled direction to solve the problem by learning the temporal relations within videos in order to locate anomaly events. To this end, we propose a hierarchical transformer model designed to evaluate the significance of observed actions in anomalous videos with a divide-and-conquer strategy along the temporal axis. Our approach segments a parent video hierarchically into multiple temporal children instances and measures the influence of the children nodes in classifying the abnormality of the parent video. Evaluating our model on two well-known anomaly detection datasets, UCF-crime and ShanghaiTech, proves its ability to interpret the observed actions within videos and localize the anomalous ones. Our proposed approach outperforms previous works relying on segment-level multiple-instance learning approaches while reaching a promising performance compared to the more recent pseudo-labeling-based approaches.
- Abstract（参考訳）: 異常な行動の検出と位置決めは、セキュリティと高度な監視システムにおいて重要な役割を果たす。
しかし、膨大な数の監視ビデオにより、タスクの利用可能なデータのほとんどは、既知のビデオクラスとラベル付けまたは半ラベル付けされているが、異常な出来事の所在は不明である。
本研究では,半教師付きビデオにおける異常なローカライゼーションを対象とする。
この課題に対処する主な方向は,セグメントレベルのマルチインスタンス学習と擬似ラベルの生成に焦点をあてる一方で,ビデオ内の時間的関係を学習して,異常な事象を特定することで解決する,有望かつ未完成な方向性を探究することを目的とする。
そこで本稿では,時間軸に沿った分割・縮小戦略を用いて,異常映像における観察行動の意義を評価するための階層型トランスフォーマーモデルを提案する。
本手法は, 親映像を階層的に複数の時間的児童事例に区分し, 親映像の異常の分類における子ノードの影響を計測する。
UCF-crimeとShanghaiTechという2つのよく知られた異常検出データセット上でモデルを評価した結果、ビデオ内で観察された動作を解釈し、異常検出をローカライズする能力が証明された。
提案手法は,より最近の擬似ラベル方式のアプローチと比較して,有望な性能を保ちつつ,セグメントレベルのマルチインスタンス学習アプローチに依存した先行研究よりも優れていた。
関連論文リスト
- Weakly Supervised Video Anomaly Detection and Localization with Spatio-Temporal Prompts [57.01985221057047]
本稿では、事前学習された視覚言語モデル(VLM)に基づく、弱教師付きビデオ異常検出および局所化のための時間的プロンプト埋め込み(WSVADL)を学習する新しい手法を提案する。
提案手法は,WSVADLタスクの3つの公開ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-12T03:31:29Z) - Dynamic Erasing Network Based on Multi-Scale Temporal Features for
Weakly Supervised Video Anomaly Detection [103.92970668001277]
弱教師付きビデオ異常検出のための動的消去ネットワーク(DE-Net)を提案する。
まず,異なる長さのセグメントから特徴を抽出できるマルチスケール時間モデリングモジュールを提案する。
そして,検出された異常の完全性を動的に評価する動的消去戦略を設計する。
論文 参考訳（メタデータ） (2023-12-04T09:40:11Z) - Open-Vocabulary Video Anomaly Detection [57.552523669351636]
監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。
近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。
本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
論文 参考訳（メタデータ） (2023-11-13T02:54:17Z) - Holistic Representation Learning for Multitask Trajectory Anomaly
Detection [65.72942351514956]
そこで本研究では,異なる時間帯における骨格軌跡の包括的表現による予測運動の学習を提案する。
我々は、時間的閉鎖された軌道を符号化し、ブロックされたセグメントの潜在表現を共同学習し、異なる時間的セグメントにわたる期待運動に基づいて軌道を再構築する。
論文 参考訳（メタデータ） (2023-11-03T11:32:53Z) - Delving into CLIP latent space for Video Anomaly Recognition [24.37974279994544]
本稿では,CLIP などの大規模言語と視覚(LLV)モデルを組み合わせた新しい手法 AnomalyCLIP を提案する。
当社のアプローチでは、通常のイベントサブスペースを特定するために、潜伏するCLIP機能空間を操作することが特に必要です。
異常フレームがこれらの方向に投影されると、それらが特定のクラスに属している場合、大きな特徴量を示す。
論文 参考訳（メタデータ） (2023-10-04T14:01:55Z) - Towards Video Anomaly Retrieval from Video Anomaly Detection: New
Benchmarks and Model [70.97446870672069]
ビデオ異常検出(VAD)はその潜在的な応用により注目されている。
Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。
一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
論文 参考訳（メタデータ） (2023-07-24T06:22:37Z) - Anomaly detection in surveillance videos using transformer based
attention model [3.2968779106235586]
本研究は、トレーニングビデオにおける異常セグメントの注釈付けを避けるために、弱教師付き戦略を用いることを示唆する。
提案するフレームワークは,実世界のデータセット,すなわちShanghaiTech Campusデータセットで検証される。
論文 参考訳（メタデータ） (2022-06-03T12:19:39Z) - Anomaly Crossing: A New Method for Video Anomaly Detection as
Cross-domain Few-shot Learning [32.0713939637202]
ビデオ異常検出は、ビデオで発生した異常事象を特定することを目的としている。
従来のアプローチのほとんどは、教師なしまたは半教師なしの手法で通常のビデオからのみ学習する。
本稿では,ビデオの異常検出に通常のビデオと異常ビデオの両方をフル活用することで,新たな学習パラダイムを提案する。
論文 参考訳（メタデータ） (2021-12-12T20:49:38Z) - Robust Unsupervised Video Anomaly Detection by Multi-Path Frame
Prediction [61.17654438176999]
本稿では,フレーム予測と適切な設計による新規で頑健な非教師付きビデオ異常検出手法を提案する。
提案手法は,CUHK Avenueデータセット上で88.3%のフレームレベルAUROCスコアを得る。
論文 参考訳（メタデータ） (2020-11-05T11:34:12Z) - A Self-Reasoning Framework for Anomaly Detection Using Video-Level
Labels [17.615297975503648]
監視ビデオにおける異常事象の検出は、画像およびビデオ処理コミュニティの間で困難かつ実践的な研究課題である。
本稿では、ビデオレベルラベルのみを用いて自己推論方式で訓練されたディープニューラルネットワークに基づく、弱い教師付き異常検出フレームワークを提案する。
提案するフレームワークは,UCF-crimeやShanghaiTech,Ped2など,公開されている実世界の異常検出データセット上で評価されている。
論文 参考訳（メタデータ） (2020-08-27T02:14:15Z) - Localizing Anomalies from Weakly-Labeled Videos [45.58643708315132]
Weakly Supervised Anomaly Localization (WSAL)法を提案する。
異常映像の出現差にインスパイアされ, 隣接する時間領域の進化を異常映像の局所化のために評価した。
提案手法は,UCF-CrimeおよびTADデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2020-08-20T12:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。