論文の概要: VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams

• arxiv url: http://arxiv.org/abs/2007.07817v1
• Date: Wed, 15 Jul 2020 16:43:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 06:38:06.590525
• Title: VidCEP: Complex Event Processing Framework to Detect Spatiotemporal Patterns in Video Streams
• Title（参考訳）: VidCEP:ビデオストリームの時空間パターンを検出する複合イベント処理フレームワーク
• Authors: Piyush Yadav, Edward Curry
• Abstract要約: 複合イベント処理(CEP)のようなミドルウェアシステムは、データストリームからパターンを抽出し、タイムリーな方法でユーザに通知を送信する。 現在のCEPシステムは、非構造化データモデルと表現型クエリ言語のために、ビデオストリームのクエリに固有の制限がある。 ビデオストリームのための,インメモリ,ほぼリアルタイムな複合イベントマッチングフレームワークであるVidCEPを提案する。
• 参考スコア（独自算出の注目度）: 5.53329677986653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video data is highly expressive and has traditionally been very difficult for a machine to interpret. Querying event patterns from video streams is challenging due to its unstructured representation. Middleware systems such as Complex Event Processing (CEP) mine patterns from data streams and send notifications to users in a timely fashion. Current CEP systems have inherent limitations to query video streams due to their unstructured data model and lack of expressive query language. In this work, we focus on a CEP framework where users can define high-level expressive queries over videos to detect a range of spatiotemporal event patterns. In this context, we propose: i) VidCEP, an in-memory, on the fly, near real-time complex event matching framework for video streams. The system uses a graph-based event representation for video streams which enables the detection of high-level semantic concepts from video using cascades of Deep Neural Network models, ii) a Video Event Query language (VEQL) to express high-level user queries for video streams in CEP, iii) a complex event matcher to detect spatiotemporal video event patterns by matching expressive user queries over video data. The proposed approach detects spatiotemporal video event patterns with an F-score ranging from 0.66 to 0.89. VidCEP maintains near real-time performance with an average throughput of 70 frames per second for 5 parallel videos with sub-second matching latency.
• Abstract（参考訳）: ビデオデータは表現力が高く、伝統的に機械が解釈するのが非常に困難だった。 ビデオストリームからのイベントパターンのクエリは、非構造化表現のため難しい。 複合イベント処理(CEP)のようなミドルウェアシステムは、データストリームからパターンを抽出し、タイムリーな方法でユーザに通知を送信する。 現在のCEPシステムは、構造化されていないデータモデルと表現力のあるクエリ言語がないため、ビデオストリームのクエリに固有の制限がある。 本研究では,ビデオ上で高レベルな表現型クエリを定義可能なCEPフレームワークに着目し,時空間のイベントパターンを検知する。 この文脈で提案します i) VidCEP(インメモリ,オンザフライ,ほぼリアルタイム,ビデオストリームのための複合イベントマッチングフレームワーク)。 このシステムは、ディープニューラルネットワークモデルのカスケードを用いて、ビデオから高レベルなセマンティック概念を検出することができる、ビデオストリームのためのグラフベースのイベント表現を使用する。 ii)CEPにおけるビデオストリームのハイレベルなユーザクエリを表現するビデオイベントクエリ言語(VEQL) 三 ビデオデータ上で表現豊かなユーザクエリをマッチングすることにより、時空間ビデオイベントパターンを検出する複雑なイベントマッチング装置。 提案手法はFスコア0.66から0.89の範囲で時空間ビデオイベントパターンを検出する。 VidCEPは、秒単位のレイテンシで5つの並列ビデオに対して、平均スループットが70フレーム/秒で、ほぼリアルタイムのパフォーマンスを維持している。

関連論文リスト

• Event-aware Video Corpus Moment Retrieval [79.48249428428802]
  Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。 VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。 本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:55:20Z)
• Local Compressed Video Stream Learning for Generic Event Boundary Detection [25.37983456118522]
  イベント境界検出は、ビデオをチャンクに分割する一般的な分類なしのイベント境界をローカライズすることを目的としている。 既存の方法は、通常、ネットワークに入力する前にビデオフレームをデコードする必要がある。 本稿では,圧縮領域におけるリッチな情報を活用する完全エンドツーエンドのイベント境界検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T06:49:40Z)
• Towards Video Anomaly Retrieval from Video Anomaly Detection: New Benchmarks and Model [70.97446870672069]
  ビデオ異常検出(VAD)はその潜在的な応用により注目されている。 Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。 一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-07-24T06:22:37Z)
• Query-Dependent Video Representation for Moment Retrieval and Highlight Detection [8.74967598360817]
  MR/HDの主な目的は、あるテキストクエリに対して、モーメントをローカライズし、クリップワイドアコーディネートレベル、すなわち、サリエンシスコアを推定することである。 最近のトランスフォーマーベースのモデルは、与えられたクエリの情報を完全に活用していない。 本稿ではMR/HDに適した検出変換器であるQuery-Dependent DETR(QD-DETR)を紹介する。
  論文  参考訳（メタデータ） (2023-03-24T09:32:50Z)
• Modal-specific Pseudo Query Generation for Video Corpus Moment Retrieval [20.493241098064665]
  ビデオコーパスモーメント検索(VCMR)は、自然言語クエリを用いて、大きなビデオコーパスから最も関連性の高いビデオモーメントを検索するタスクである。 モーダル固有のPseudo Query Generation Network (MPGN) を提案する。 MPGNは、選択した時間モーメントから視覚情報とテキスト情報の両方を活用する疑似クエリを生成する。 我々は,MPGNがビデオコーパスモーメントを明示的なアノテーションなしでローカライズすることに成功したことを示す。
  論文  参考訳（メタデータ） (2022-10-23T05:05:18Z)
• QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries [89.24431389933703]
  Query-based Video Highlights (QVHighlights) データセットを提示する。 これは1万本以上のYouTubeビデオで構成され、幅広いトピックをカバーしている。 データセット内の各ビデオには、(1)人書き自由形式のNLクエリ、(2)クエリに関するビデオw.r.t.の関連モーメント、(3)クエリに関連するすべてのクリップに対する5ポイントスケールのサリエンシスコアが注釈付けされている。
  論文  参考訳（メタデータ） (2021-07-20T16:42:58Z)
• DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization [127.16984421969529]
  DeepQAMVSと呼ばれるマルチビデオ要約のための新しいQuery-Aware階層型ポインタネットワークを紹介します。 DeepQAMVSは強化学習で訓練され、代表性、多様性、クエリ適応性、時間的コヒーレンスを捉えた報酬を取り入れている。 MVS1Kデータセットで最新の結果を達成し、入力されたビデオフレームの数と線形に推論時間をスケーリングします。
  論文  参考訳（メタデータ） (2021-05-13T17:33:26Z)
• Video Corpus Moment Retrieval with Contrastive Learning [56.249924768243375]
  ビデオコーパスモーメント検索(VCMR)は、与えられたテキストクエリに意味的に対応する時間モーメントを取得することです。 VCMRのためのコントラシブラーニング(ReLoCLNet)を用いた検索・ローカリゼーションネットワークを提案する。 実験の結果、ReLoCLNetは効率のためにテキストとビデオを個別にエンコードし、その検索精度はクロスモーダル相互作用学習を採用するベースラインと匹敵する。
  論文  参考訳（メタデータ） (2021-05-13T12:54:39Z)
• Temporal Context Aggregation for Video Retrieval with Contrastive Learning [81.12514007044456]
  フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。 提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
  論文  参考訳（メタデータ） (2020-08-04T05:24:20Z)
• Knowledge Graph Driven Approach to Represent Video Streams for Spatiotemporal Event Pattern Matching in Complex Event Processing [5.220940151628734]
  複合イベント処理(CEP)は、ストリーミングデータ上でリアルタイム分析を行うイベント処理パラダイムである。 ビデオストリームは、構造化されていないデータモデルとCEPシステムを制限してマッチングを行うため、複雑である。 この研究は連続的に進化するビデオストリームのためのグラフベースの構造を導入し、CEPシステムは複雑なビデオイベントパターンをクエリできる。
  論文  参考訳（メタデータ） (2020-07-13T10:20:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。