論文の概要: Video Event Restoration Based on Keyframes for Video Anomaly Detection
- arxiv url: http://arxiv.org/abs/2304.05112v1
- Date: Tue, 11 Apr 2023 10:13:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 15:33:45.938375
- Title: Video Event Restoration Based on Keyframes for Video Anomaly Detection
- Title（参考訳）: ビデオ異常検出のためのキーフレームに基づく映像イベント復元
- Authors: Zhiwei Yang, Jing Liu, Zhaoyang Wu, Peng Wu, Xiaotao Liu
- Abstract要約: 既存のディープニューラルネットワークベースの異常検出(VAD)手法は、主にフレーム再構成やフレーム予測の経路に従う。
これらの制限を突破するために、新しいVADパラダイムを導入します。
本稿では,ビデオイベント復元のためのU字型スイニングトランスフォーマーネットワーク (USTN-DSC) を提案する。
- 参考スコア（独自算出の注目度）: 9.18057851239942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video anomaly detection (VAD) is a significant computer vision problem.
Existing deep neural network (DNN) based VAD methods mostly follow the route of
frame reconstruction or frame prediction. However, the lack of mining and
learning of higher-level visual features and temporal context relationships in
videos limits the further performance of these two approaches. Inspired by
video codec theory, we introduce a brand-new VAD paradigm to break through
these limitations: First, we propose a new task of video event restoration
based on keyframes. Encouraging DNN to infer missing multiple frames based on
video keyframes so as to restore a video event, which can more effectively
motivate DNN to mine and learn potential higher-level visual features and
comprehensive temporal context relationships in the video. To this end, we
propose a novel U-shaped Swin Transformer Network with Dual Skip Connections
(USTN-DSC) for video event restoration, where a cross-attention and a temporal
upsampling residual skip connection are introduced to further assist in
restoring complex static and dynamic motion object features in the video. In
addition, we propose a simple and effective adjacent frame difference loss to
constrain the motion consistency of the video sequence. Extensive experiments
on benchmarks demonstrate that USTN-DSC outperforms most existing methods,
validating the effectiveness of our method.
- Abstract（参考訳）: ビデオ異常検出(VAD)は重要なコンピュータビジョン問題である。
既存のディープニューラルネットワーク(DNN)ベースのVAD手法は、主にフレーム再構成やフレーム予測の経路に従う。
しかしながら、高レベルな視覚特徴のマイニングと学習の欠如とビデオにおける時間的文脈関係は、これらの2つのアプローチのさらなるパフォーマンスを阻害している。
まず,ビデオコーデック理論に着想を得て,これらの制約を克服するための新しいvadパラダイムを提案する。
DNNをビデオキーフレームに基づいて欠落した複数のフレームを推論してビデオイベントを復元させることで、DNNをより効果的に動機付け、より高レベルな視覚的特徴やビデオ内の包括的な時間的関係を学習することができる。
そこで本研究では,ビデオイベント復元のためのデュアルスキップ接続(ustn-dsc)を備えたu字型スウィントランスネットワークを提案する。
さらに,ビデオシーケンスの動作の整合性を抑えるため,フレーム差分を簡易かつ効果的に除去する手法を提案する。
ベンチマーク実験の結果,USTN-DSCは既存の手法よりも優れており,本手法の有効性が検証された。
関連論文リスト
- Learning Truncated Causal History Model for Video Restoration [14.381907888022615]
TURTLEは、効率的かつ高性能なビデオ復元のための散在した因果履歴モデルを学ぶ。
我々は,多数のビデオ復元ベンチマークタスクに関する最新の結果について報告する。
論文 参考訳（メタデータ） (2024-10-04T21:31:02Z) - Enhancing Bandwidth Efficiency for Video Motion Transfer Applications using Deep Learning Based Keypoint Prediction [4.60378493357739]
本稿では,モーショントランスファー対応ビデオアプリケーションにおける帯域幅削減のための,ディープラーニングに基づく新しい予測フレームワークを提案する。
リアルタイムアプリケーションでは,最大2倍の帯域幅削減を実現し,提案手法の有効性を示した。
論文 参考訳（メタデータ） (2024-03-17T20:36:43Z) - Event-aware Video Corpus Moment Retrieval [79.48249428428802]
Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。
VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。
本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
論文 参考訳（メタデータ） (2024-02-21T06:55:20Z) - Video Dynamics Prior: An Internal Learning Approach for Robust Video
Enhancements [83.5820690348833]
外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。
提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
論文 参考訳（メタデータ） (2023-12-13T01:57:11Z) - Deep Unsupervised Key Frame Extraction for Efficient Video
Classification [63.25852915237032]
本研究は、畳み込みニューラルネットワーク(CNN)と時間セグメント密度ピーククラスタリング(TSDPC)を組み合わせたキーフレームの検索方法を提案する。
提案した TSDPC は汎用的で強力なフレームワークであり,従来の研究に比べて2つの利点がある。
さらに、CNNの上部にLong Short-Term Memory Network (LSTM)を追加し、分類性能をさらに高める。
論文 参考訳（メタデータ） (2022-11-12T20:45:35Z) - Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。
既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。
ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:39Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - Frame-rate Up-conversion Detection Based on Convolutional Neural Network
for Learning Spatiotemporal Features [7.895528973776606]
本稿では、FRUCによる法医学的特徴をエンドツーエンドに学習するフレームレート変換検出ネットワーク(FCDNet)を提案する。
FCDNetは連続するフレームのスタックを入力として使用し、ネットワークブロックを使ってアーティファクトを効果的に学習して特徴を学習する。
論文 参考訳（メタデータ） (2021-03-25T08:47:46Z) - Multiple Instance-Based Video Anomaly Detection using Deep Temporal
Encoding-Decoding [5.255783459833821]
本稿では,監視ビデオにおける異常検出のための時間的深部符号化復号化手法を提案する。
提案手法はトレーニング期間中に異常ビデオクリップと正常ビデオクリップの両方を使用する。
提案手法は,ビデオ監視アプリケーションにおける異常検出の最先端ソリューションと同等かそれ以上に動作することを示す。
論文 参考訳（メタデータ） (2020-07-03T08:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。