論文の概要: Evaluating Temporal Queries Over Video Feeds
- arxiv url: http://arxiv.org/abs/2003.00953v3
- Date: Thu, 5 Mar 2020 22:22:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 04:57:07.867322
- Title: Evaluating Temporal Queries Over Video Feeds
- Title（参考訳）: ビデオフィードによる時間的問い合わせの評価
- Authors: Yueting Chen and Xiaohui Yu and Nick Koudas
- Abstract要約: ビデオフィードにおけるオブジェクトとその共起に関する時間的クエリは、法執行機関からセキュリティ、安全に至るまで、多くのアプリケーションにとって関心がある。
本稿では,オブジェクト検出/追跡,中間データ生成,クエリ評価という3つのレイヤからなるアーキテクチャを提案する。
中間データ生成層における全ての検出対象を整理するために,MFSとSSGという2つの手法を提案する。
また、SSGに対して入力フレームを処理し、クエリ評価とは無関係なオブジェクトやフレームを効率よくプーンするState Traversal (ST)アルゴリズムを導入する。
- 参考スコア（独自算出の注目度）: 25.04363138106074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Computer Vision and Deep Learning made possible the
efficient extraction of a schema from frames of streaming video. As such, a
stream of objects and their associated classes along with unique object
identifiers derived via object tracking can be generated, providing unique
objects as they are captured across frames. In this paper we initiate a study
of temporal queries involving objects and their co-occurrences in video feeds.
For example, queries that identify video segments during which the same two red
cars and the same two humans appear jointly for five minutes are of interest to
many applications ranging from law enforcement to security and safety. We take
the first step and define such queries in a way that they incorporate certain
physical aspects of video capture such as object occlusion. We present an
architecture consisting of three layers, namely object detection/tracking,
intermediate data generation and query evaluation. We propose two
techniques,MFS and SSG, to organize all detected objects in the intermediate
data generation layer, which effectively, given the queries, minimizes the
number of objects and frames that have to be considered during query
evaluation. We also introduce an algorithm called State Traversal (ST) that
processes incoming frames against the SSG and efficiently prunes objects and
frames unrelated to query evaluation, while maintaining all states required for
succinct query evaluation. We present the results of a thorough experimental
evaluation utilizing both real and synthetic data establishing the trade-offs
between MFS and SSG. We stress various parameters of interest in our evaluation
and demonstrate that the proposed query evaluation methodology coupled with the
proposed algorithms is capable to evaluate temporal queries over video feeds
efficiently, achieving orders of magnitude performance benefits.
- Abstract（参考訳）: 最近のコンピュータビジョンとディープラーニングの進歩により、ストリーミングビデオのフレームからスキーマを効率的に抽出できるようになった。
このように、オブジェクトのストリームとその関連するクラスと、オブジェクト追跡によって派生したユニークなオブジェクト識別子を生成することができ、フレーム間でキャプチャされるユニークなオブジェクトを提供する。
本稿では,ビデオフィードにおけるオブジェクトとその共起に関する時間的クエリの研究を開始する。
例えば、同じ2台の赤い車と同じ2台の人間が5分間共同で現れるビデオセグメントを識別するクエリは、法執行機関からセキュリティ、安全に至るまで、多くのアプリケーションに関心がある。
第一歩を踏み出し、オブジェクトのオクルージョンのようなビデオキャプチャの物理的な側面を組み込む方法で、そのようなクエリを定義します。
本稿では,オブジェクト検出/追跡,中間データ生成,クエリ評価という3つのレイヤからなるアーキテクチャを提案する。
本稿では,中間データ生成層における全ての検出対象を整理するMFSとSSGの2つの手法を提案する。
また,ssgに対して入力フレームを処理し,クエリ評価とは無関係なオブジェクトやフレームを効率的にプルーピングするstate traversal(st)と呼ばれるアルゴリズムを導入し,簡潔なクエリ評価に必要なすべての状態を維持した。
MFSとSSGのトレードオフを確立するために,実データと合成データの両方を用いた詳細な実験結果を示す。
提案手法と提案アルゴリズムを組み合わせることで,ビデオフィード上での時間的クエリを効率的に評価し,性能上のメリットのオーダーを達成できることを示す。
関連論文リスト
- Spatial-Temporal Multi-level Association for Video Object Segmentation [89.32226483171047]
本稿では,参照フレーム,テストフレーム,オブジェクト特徴を相互に関連付ける空間的・時間的多レベルアソシエーションを提案する。
具体的には,空間的・時間的多段階特徴関連モジュールを構築し,より優れた目標認識特徴を学習する。
論文 参考訳（メタデータ） (2024-04-09T12:44:34Z) - Temporal-aware Hierarchical Mask Classification for Video Semantic
Segmentation [62.275143240798236]
ビデオセマンティックセグメンテーションデータセットは、ビデオ毎のカテゴリが限られている。
VSSトレーニング中に意味のある勾配更新を受けるために、クエリの10%未満がマッチする可能性がある。
提案手法は,最新のVSSベンチマークVSPWにおいてベルやホイッスルを使わずに,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-09-14T20:31:06Z) - Temporal Saliency Query Network for Efficient Video Recognition [82.52760040577864]
ビデオ認識は、インターネットやモバイルデバイス上でのマルチメディアデータの爆発的な成長に関するホットスポット研究のトピックである。
既存の方法の多くは、クラス固有のサリエンシスコアを意識せずに、サリエントフレームを選択する。
そこで我々は,Saliency Query (TSQ) 機構を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:23:34Z) - A Unified Transformer Framework for Group-based Segmentation:
Co-Segmentation, Co-Saliency Detection and Video Salient Object Detection [59.21990697929617]
人間は、ダイナミックな世界に住んでいるので、画像のグループやビデオのフレームから学ぶことによってオブジェクトをマイニングする傾向があります。
従来のアプローチでは、類似したタスクで異なるネットワークを個別に設計するが、互いに適用するのは困難である。
UFO(UnifiedObject Framework for Co-Object Framework)という,これらの問題に対処するための統一フレームワークを導入する。
論文 参考訳（メタデータ） (2022-03-09T13:35:19Z) - Temporal Query Networks for Fine-grained Video Understanding [88.9877174286279]
我々はこれをクエリ応答機構にキャストし、各クエリが特定の質問に対処し、独自の応答ラベルセットを持つ。
本手法は,細粒度動作分類のためのファインガイムおよびダイビング48ベンチマークを広範囲に評価し,rgb機能のみを用いて最先端の動作分類を克服した。
論文 参考訳（メタデータ） (2021-04-19T17:58:48Z) - Target-Aware Object Discovery and Association for Unsupervised Video
Multi-Object Segmentation [79.6596425920849]
本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。
より正確で効率的な時間区分のための新しいアプローチを紹介します。
DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-04-10T14:39:44Z) - Learning from Counting: Leveraging Temporal Classification for Weakly
Supervised Object Localization and Detection [4.971083368517706]
2次元画像を1次元シーケンスデータにシリアライズするスキャンオーダー技術を導入する。
次にLSTM(Long, Short-Term Memory)とCTCネットワークを組み合わせてオブジェクトのローカライゼーションを実現する。
論文 参考訳（メタデータ） (2021-03-06T02:18:03Z) - Video Monitoring Queries [16.7214343633499]
ビデオストリーム上での対話型宣言型クエリ処理の問題について検討する。
特定のタイプのオブジェクトを含むクエリを高速化するために、近似フィルタのセットを導入します。
フィルタは、クエリ述語が真実であれば素早く評価でき、フレームのさらなる分析を進めることができる。
論文 参考訳（メタデータ） (2020-02-24T20:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。