論文の概要: Gabriella: An Online System for Real-Time Activity Detection in
Untrimmed Security Videos
- arxiv url: http://arxiv.org/abs/2004.11475v2
- Date: Tue, 19 May 2020 17:45:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 10:13:24.105365
- Title: Gabriella: An Online System for Real-Time Activity Detection in
Untrimmed Security Videos
- Title（参考訳）: Gabriella: セキュリティビデオのリアルタイムアクティビティ検出のためのオンラインシステム
- Authors: Mamshad Nayeem Rizve, Ugur Demir, Praveen Tirupattur, Aayush Jung
Rana, Kevin Duarte, Ishan Dave, Yogesh Singh Rawat, Mubarak Shah
- Abstract要約: 本研究では,未トリミングされたセキュリティビデオ上でのアクティビティ検出をリアルタイムに行うオンラインシステムを提案する。
提案手法は, チューブレット抽出, 活性分類, オンラインチューブレットマージの3段階からなる。
提案手法の有効性を,100fps(100fps)と最新技術による性能評価で実証した。
- 参考スコア（独自算出の注目度）: 72.50607929306058
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Activity detection in security videos is a difficult problem due to multiple
factors such as large field of view, presence of multiple activities, varying
scales and viewpoints, and its untrimmed nature. The existing research in
activity detection is mainly focused on datasets, such as UCF-101, JHMDB,
THUMOS, and AVA, which partially address these issues. The requirement of
processing the security videos in real-time makes this even more challenging.
In this work we propose Gabriella, a real-time online system to perform
activity detection on untrimmed security videos. The proposed method consists
of three stages: tubelet extraction, activity classification, and online
tubelet merging. For tubelet extraction, we propose a localization network
which takes a video clip as input and spatio-temporally detects potential
foreground regions at multiple scales to generate action tubelets. We propose a
novel Patch-Dice loss to handle large variations in actor size. Our online
processing of videos at a clip level drastically reduces the computation time
in detecting activities. The detected tubelets are assigned activity class
scores by the classification network and merged together using our proposed
Tubelet-Merge Action-Split (TMAS) algorithm to form the final action
detections. The TMAS algorithm efficiently connects the tubelets in an online
fashion to generate action detections which are robust against varying length
activities. We perform our experiments on the VIRAT and MEVA (Multiview
Extended Video with Activities) datasets and demonstrate the effectiveness of
the proposed approach in terms of speed (~100 fps) and performance with
state-of-the-art results. The code and models will be made publicly available.
- Abstract（参考訳）: セキュリティビデオにおけるアクティビティ検出は,広い視野,複数のアクティビティの存在,スケールや視点の相違,未解決の性質など,複数の要因により難しい問題である。
アクティビティ検出に関する既存の研究は、主にUCF-101、JHMDB、THUMOS、AVAなどのデータセットに焦点を当てており、これらの問題に部分的に対処している。
セキュリティビデオのリアルタイム処理の必要性は、これをさらに難しくしている。
本稿では,未トリミングされたセキュリティビデオのアクティビティ検出を行うリアルタイムオンラインシステムGabriellaを提案する。
提案手法は, チューブレット抽出, 活性分類, オンラインチューブレット融合の3段階からなる。
チューブレット抽出のために,ビデオクリップを入力とし,複数スケールの電位前景領域を時空間的に検出してアクションチューブを生成するローカライズネットワークを提案する。
本稿では,アクタサイズの大きな変動に対処するパッチディスロスを提案する。
クリップレベルでのビデオのオンライン処理は、アクティビティ検出の計算時間を劇的に削減します。
検出されたチューブレットは分類ネットワークによってアクティビティクラススコアを割り当てられ、提案するチューブレットマージアクションスリット(tmas)アルゴリズムを用いてマージされ、最終動作検出となる。
TMASアルゴリズムは、チューブレットをオンラインで効率的に接続し、様々な長さのアクティビティに対して堅牢な動作検出を生成する。
我々は,VIRATとMEVA(Multiview Extended Video with Activity)データセットを用いて実験を行い,提案手法の有効性を示す。
コードとモデルは公開される予定だ。
関連論文リスト
- Cutup and Detect: Human Fall Detection on Cutup Untrimmed Videos Using a
Large Foundational Video Understanding Model [0.0]
本研究では,ヒトの転倒検出作業における映像理解基盤モデルの性能について検討する。
トリミングされていないビデオの簡単なカットアップに依存する時間的行動の局所化法を実証する。
結果はリアルタイムアプリケーションに期待でき、HQFSDデータセットで最先端の0.96 F1スコアで、ビデオレベルでフォールを検出する。
論文 参考訳（メタデータ） (2024-01-29T16:37:00Z) - Semi-supervised Active Learning for Video Action Detection [8.110693267550346]
我々はラベル付きデータとラベルなしデータの両方を利用する、新しい半教師付きアクティブラーニング手法を開発した。
提案手法は,UCF-24-101,JHMDB-21,Youtube-VOSの3種類のベンチマークデータセットに対して評価を行った。
論文 参考訳（メタデータ） (2023-12-12T11:13:17Z) - Argus++: Robust Real-time Activity Detection for Unconstrained Video
Streams with Overlapping Cube Proposals [85.76513755331318]
Argus++は、制約のないビデオストリームを分析するための堅牢なリアルタイムアクティビティ検出システムである。
システム全体としては、スタンドアロンのコンシューマレベルのハードウェア上でのリアルタイム処理に最適化されている。
論文 参考訳（メタデータ） (2022-01-14T03:35:22Z) - Deep Learning-based Action Detection in Untrimmed Videos: A Survey [20.11911785578534]
ほとんどの現実世界のビデオは長く、興味をそそる部分がある。
非トリミングビデオにおける時間的活動検出のタスクは、アクションの時間的境界をローカライズすることを目的としている。
本稿では,非トリミングビデオにおける時間的行動検出のためのディープラーニングに基づくアルゴリズムの概要について述べる。
論文 参考訳（メタデータ） (2021-09-30T22:42:25Z) - TinyVIRAT: Low-resolution Video Action Recognition [70.37277191524755]
現実世界の監視環境では、ビデオ内のアクションは幅広い解像度でキャプチャされる。
天然の低解像度アクティビティを含むベンチマークデータセットTinyVIRATを導入する。
本稿では,プログレッシブ・ジェネレーティブ・アプローチを用いたビデオにおける小さな動作を認識する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T21:09:18Z) - WOAD: Weakly Supervised Online Action Detection in Untrimmed Videos [124.72839555467944]
ビデオクラスラベルのみを用いてトレーニングできる弱教師付きフレームワークを提案する。
提案手法は, 弱教師付きベースラインよりも優れていることを示す。
本手法は,オンラインフレームごとの行動認識とオンライン行動開始検出の両方のタスクにおいて,最先端の成果を得る。
論文 参考訳（メタデータ） (2020-06-05T23:08:41Z) - Revisiting Few-shot Activity Detection with Class Similarity Control [107.79338380065286]
本稿では,提案回帰に基づく数ショットの時間的活動検出のためのフレームワークを提案する。
我々のモデルはエンドツーエンドのトレーニングが可能で、数ショットのアクティビティと未トリミングなテストビデオのフレームレートの違いを考慮しており、さらに数ショットのサンプルの恩恵を受けることができる。
論文 参考訳（メタデータ） (2020-03-31T22:02:38Z) - A Novel Online Action Detection Framework from Untrimmed Video Streams [19.895434487276578]
本稿では,時間的に順序付けられたサブクラスの集合として行動を検出する新しいオンライン行動検出フレームワークを提案する。
提案手法は,映像の長さを変化させることで,人間の行動における高いクラス内変動を学習できるようにする。
論文 参考訳（メタデータ） (2020-03-17T14:11:24Z) - ZSTAD: Zero-Shot Temporal Activity Detection [107.63759089583382]
本研究では,ゼロショット時間的活動検出(ZSTAD)と呼ばれる新たなタスク設定を提案する。
このソリューションのアーキテクチャとして,R-C3Dに基づくエンドツーエンドのディープネットワークを設計する。
THUMOS14とCharadesデータセットの両方の実験は、目に見えない活動を検出するという点で有望なパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-03-12T02:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。