論文の概要: Knowledge Graph Driven Approach to Represent Video Streams for
Spatiotemporal Event Pattern Matching in Complex Event Processing
- arxiv url: http://arxiv.org/abs/2007.06292v1
- Date: Mon, 13 Jul 2020 10:20:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 23:22:23.405995
- Title: Knowledge Graph Driven Approach to Represent Video Streams for
Spatiotemporal Event Pattern Matching in Complex Event Processing
- Title（参考訳）: 複合イベント処理における時空間イベントパターンマッチングのための知識グラフ駆動型ビデオストリーム表現手法
- Authors: Piyush Yadav, Dhaval Salwala, Edward Curry
- Abstract要約: 複合イベント処理(CEP)は、ストリーミングデータ上でリアルタイム分析を行うイベント処理パラダイムである。
ビデオストリームは、構造化されていないデータモデルとCEPシステムを制限してマッチングを行うため、複雑である。
この研究は連続的に進化するビデオストリームのためのグラフベースの構造を導入し、CEPシステムは複雑なビデオイベントパターンをクエリできる。
- 参考スコア（独自算出の注目度）: 5.220940151628734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complex Event Processing (CEP) is an event processing paradigm to perform
real-time analytics over streaming data and match high-level event patterns.
Presently, CEP is limited to process structured data stream. Video streams are
complicated due to their unstructured data model and limit CEP systems to
perform matching over them. This work introduces a graph-based structure for
continuous evolving video streams, which enables the CEP system to query
complex video event patterns. We propose the Video Event Knowledge Graph
(VEKG), a graph driven representation of video data. VEKG models video objects
as nodes and their relationship interaction as edges over time and space. It
creates a semantic knowledge representation of video data derived from the
detection of high-level semantic concepts from the video using an ensemble of
deep learning models. A CEP-based state optimization - VEKG-Time Aggregated
Graph (VEKG-TAG) is proposed over VEKG representation for faster event
detection. VEKG-TAG is a spatiotemporal graph aggregation method that provides
a summarized view of the VEKG graph over a given time length. We defined a set
of nine event pattern rules for two domains (Activity Recognition and Traffic
Management), which act as a query and applied over VEKG graphs to discover
complex event patterns. To show the efficacy of our approach, we performed
extensive experiments over 801 video clips across 10 datasets. The proposed
VEKG approach was compared with other state-of-the-art methods and was able to
detect complex event patterns over videos with F-Score ranging from 0.44 to
0.90. In the given experiments, the optimized VEKG-TAG was able to reduce 99%
and 93% of VEKG nodes and edges, respectively, with 5.19X faster search time,
achieving sub-second median latency of 4-20 milliseconds.
- Abstract（参考訳）: 複合イベント処理(cep)は、ストリーミングデータ上でリアルタイム分析を行い、ハイレベルなイベントパターンにマッチするイベント処理パラダイムである。
現在、CEPは構造化データストリームに限られている。
ビデオストリームは、構造化されていないデータモデルとCEPシステムの制限により複雑である。
この研究は連続的に進化するビデオストリームのためのグラフベースの構造を導入し、CEPシステムは複雑なビデオイベントパターンをクエリできる。
本稿では,ビデオデータのグラフ駆動表現であるビデオイベント知識グラフ(VEKG)を提案する。
VEKGはビデオオブジェクトをノードとしてモデル化し、その関係を時間と空間とともにエッジとしてモデル化する。
深層学習モデルのアンサンブルを用いて、ビデオから高レベルなセマンティック概念を検出することによって、ビデオデータのセマンティック知識表現を生成する。
CEPに基づく状態最適化 - VEKG-Time Aggregated Graph (VEKG-TAG) を提案する。
VEKG-TAGは、VEKGグラフの所定の時間長を要約したビューを提供する時空間グラフ集計法である。
私たちは2つのドメインの9つのイベントパターンルール(アクティビティ認識とトラフィック管理)を定義しました。
提案手法の有効性を示すため,10データセットにまたがる801本のビデオクリップを広範囲に実験した。
提案手法は他の最先端手法と比較し,fスコア0.44から0.90までの動画上で複雑なイベントパターンを検出することができた。
与えられた実験では、最適化されたVEKG-TAGは、それぞれVEKGノードとエッジの99%と93%を削減し、5.19倍高速な探索時間を実現し、4-20ミリ秒のサブ秒中央遅延を実現した。
関連論文リスト
- Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic
Role Labeling [96.64607294592062]
Video Semantic Label Roleing (VidSRL)は、与えられたビデオから健全なイベントを検出することを目的としている。
近年、VidSRLの手法が提案されているが、2つの重要な欠点を負う可能性がある。
論文 参考訳（メタデータ） (2023-08-09T17:20:14Z) - TAPIR: Tracking Any Point with per-frame Initialization and temporal
Refinement [64.11385310305612]
本稿では,ビデオシーケンスを通して任意の物理面上の問合せ点を効果的に追跡する,TAP(Tracking Any Point)の新しいモデルを提案する。
提案手法では,(1)他のフレームの問合せ点に対する適切な候補点マッチングを独立に特定するマッチング段階と,(2)局所的相関に基づいてトラジェクトリと問合せの両方を更新する改良段階の2段階を用いる。
結果として得られたモデルは、DAVISにおける平均約20%の絶対平均ジャカード(AJ)改善によって示されるように、TAP-Vidベンチマークにおける大きなマージンで、すべてのベースライン手法を上回ります。
論文 参考訳（メタデータ） (2023-06-14T17:07:51Z) - Visually-aware Acoustic Event Detection using Heterogeneous Graphs [39.90352230010103]
聴覚イベントの知覚は、本質的に音声と視覚の両方に依存するマルチモーダルである。
モーダル性の間の空間的および時間的関係を捉えるために異種グラフを用いる。
空間スケールと時間スケールの両方において,モダリティ内およびモダリティ間の関係を効率的にモデル化する。
論文 参考訳（メタデータ） (2022-07-16T13:09:25Z) - End-to-End Compressed Video Representation Learning for Generic Event
Boundary Detection [31.31508043234419]
イベント境界検出のためのエンドツーエンド圧縮ビデオ表現学習を提案する。
まず最初にConvNetを使って、GOPのIフレームの特徴を抽出します。
その後、Pフレームの特徴表現を計算するために、軽量な空間チャネル圧縮エンコーダが設計された。
ビデオシーケンスのイベント境界を決定するために,時間的コントラストモジュールを提案する。
論文 参考訳（メタデータ） (2022-03-29T08:27:48Z) - Representing Videos as Discriminative Sub-graphs for Action Recognition [165.54738402505194]
ビデオ中の各アクションの識別パターンを表現およびエンコードするためのサブグラフの新たな設計を提案する。
時空グラフとクラスタを各スケールでコンパクトなサブグラフに新たに構築するMUlti-scale Sub-Earn Ling (MUSLE) フレームワークを提案する。
論文 参考訳（メタデータ） (2022-01-11T16:15:25Z) - TCGL: Temporal Contrastive Graph for Self-supervised Video
Representation Learning [79.77010271213695]
本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。
TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。
ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
論文 参考訳（メタデータ） (2021-12-07T09:27:56Z) - Video Is Graph: Structured Graph Module for Video Action Recognition [34.918667614077805]
ビデオシーケンスをグラフに変換して,時間的フレーム間の直接的な長期的依存関係を求める。
特に、SGMは各ノードの隣人を複数の時間領域に分割し、グローバルな構造情報を抽出する。
報告された性能と分析により、SGMは計算複雑性を小さくして優れた精度を達成できることを示した。
論文 参考訳（メタデータ） (2021-10-12T11:27:29Z) - Target Adaptive Context Aggregation for Video Scene Graph Generation [36.669700084337045]
本稿では,映像シーングラフ生成(VidSGG)の課題を扱う。
複雑な低レベルエンティティ追跡から関係予測のためのコンテキストモデリングを分離することにより,この課題に対する新しい Em 検出-追跡パラダイムを提案する。
論文 参考訳（メタデータ） (2021-08-18T12:46:28Z) - Learning Multi-Granular Hypergraphs for Video-Based Person
Re-Identification [110.52328716130022]
ビデオベースの人物識別(re-ID)はコンピュータビジョンにおいて重要な研究課題である。
MGH(Multi-Granular Hypergraph)という新しいグラフベースのフレームワークを提案する。
MARSの90.0%のトップ-1精度はMGHを用いて達成され、最先端のスキームよりも優れていた。
論文 参考訳（メタデータ） (2021-04-30T11:20:02Z) - VidCEP: Complex Event Processing Framework to Detect Spatiotemporal
Patterns in Video Streams [5.53329677986653]
複合イベント処理(CEP)のようなミドルウェアシステムは、データストリームからパターンを抽出し、タイムリーな方法でユーザに通知を送信する。
現在のCEPシステムは、非構造化データモデルと表現型クエリ言語のために、ビデオストリームのクエリに固有の制限がある。
ビデオストリームのための,インメモリ,ほぼリアルタイムな複合イベントマッチングフレームワークであるVidCEPを提案する。
論文 参考訳（メタデータ） (2020-07-15T16:43:37Z) - Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks [150.5425122989146]
本研究は、ゼロショットビデオオブジェクトセグメンテーション(ZVOS)のための新しい注意グラフニューラルネットワーク(AGNN)を提案する。
AGNNは、フレームをノードとして効率的に表現し、任意のフレームペア間の関係をエッジとして表現するために、完全に連結されたグラフを構築している。
3つのビデオセグメンテーションデータセットの実験結果は、AGNNがそれぞれのケースに新しい最先端を設定していることを示している。
論文 参考訳（メタデータ） (2020-01-19T10:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。