論文の概要: Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph Generation

• arxiv url: http://arxiv.org/abs/2309.13237v3
• Date: Fri, 15 Dec 2023 08:42:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 18:59:53.138353
• Title: Spatial-Temporal Knowledge-Embedded Transformer for Video Scene Graph Generation
• Title（参考訳）: 映像シーングラフ生成のための空間時間知識埋め込み変換器
• Authors: Tao Pu, Tianshui Chen, Hefeng Wu, Yongyi Lu, Liang Lin
• Abstract要約: 映像シーングラフ生成(VidSGG)は、映像シーン内の物体を特定し、その映像との関係を推測することを目的としている。 因みに、オブジェクトペアとその関係は、各画像内の空間的共起相関と、異なる画像間の時間的一貫性/遷移相関を享受する。 本稿では,従来の空間的時間的知識をマルチヘッド・クロスアテンション機構に組み込んだ時空間的知識埋め込み型トランス (STKET) を提案する。
• 参考スコア（独自算出の注目度）: 64.85974098314344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video scene graph generation (VidSGG) aims to identify objects in visual scenes and infer their relationships for a given video. It requires not only a comprehensive understanding of each object scattered on the whole scene but also a deep dive into their temporal motions and interactions. Inherently, object pairs and their relationships enjoy spatial co-occurrence correlations within each image and temporal consistency/transition correlations across different images, which can serve as prior knowledge to facilitate VidSGG model learning and inference. In this work, we propose a spatial-temporal knowledge-embedded transformer (STKET) that incorporates the prior spatial-temporal knowledge into the multi-head cross-attention mechanism to learn more representative relationship representations. Specifically, we first learn spatial co-occurrence and temporal transition correlations in a statistical manner. Then, we design spatial and temporal knowledge-embedded layers that introduce the multi-head cross-attention mechanism to fully explore the interaction between visual representation and the knowledge to generate spatial- and temporal-embedded representations, respectively. Finally, we aggregate these representations for each subject-object pair to predict the final semantic labels and their relationships. Extensive experiments show that STKET outperforms current competing algorithms by a large margin, e.g., improving the mR@50 by 8.1%, 4.7%, and 2.1% on different settings over current algorithms.
• Abstract（参考訳）: video scene graph generation (vidsgg) は、視覚シーン内のオブジェクトを識別し、与えられたビデオの関係を推測することを目的としている。 それぞれの物体が全体像に散らばっていることを包括的に理解するだけでなく、時間的動きや相互作用を深く掘り下げる必要がある。 因みに、オブジェクトペアとその関係は、各画像内の空間的共起相関と、異なる画像間の時間的一貫性/遷移相関を享受し、VidSGGモデル学習と推論を容易にする事前知識として機能する。 本研究では,従来の空間的時間的知識を多面的相互認識機構に組み込んだ空間的時間的知識埋め込み変換器(STKET)を提案する。 具体的には,空間的共起と時間的遷移の相関を統計的に学習する。 次に、空間的および時間的知識埋め込み層をデザインし、視覚表現と知識との相互作用を十分に探究し、空間的および時間的知識埋め込み表現を生成するマルチヘッドクロスアテンション機構を導入する。 最後に、各対象物対にこれらの表現を集約し、最終的な意味ラベルとその関係を予測する。 大規模な実験では、STKETは現在の競合アルゴリズムよりも大きなマージンで、例えばmR@50を8.1%、4.7%、そして2.1%改善している。

関連論文リスト

• Deeply-Coupled Convolution-Transformer with Spatial-temporal Complementary Learning for Video-based Person Re-identification [91.56939957189505]
  本稿では,高性能ビデオベース Re-ID のための新しい時空間補完学習フレームワークである Deeply-Coupled Convolution-Transformer (DCCT) を提案する。 私たちのフレームワークは、ほとんどの最先端のメソッドよりも優れたパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2023-04-27T12:16:44Z)
• Learning Appearance-motion Normality for Video Anomaly Detection [11.658792932975652]
  時空間記憶を付加した2ストリーム自動エンコーダフレームワークを提案する。 見た目の正常さと動きの正常さを独立に学習し、敵の学習を通して相関関係を探索する。 我々のフレームワークは最先端の手法より優れており、UCSD Ped2とCUHK Avenueのデータセットで98.1%、89.8%のAUCを実現している。
  論文  参考訳（メタデータ） (2022-07-27T08:30:19Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• GTA: Global Temporal Attention for Video Action Understanding [51.476605514802806]
  空間的注意を軸にグローバルな時間的注目を行うグローバルテンポラルアテンション(AGT:Global Temporal Attention)を分離的に紹介します。 2Dおよび3Dネットワーク上でのテストは、我々のアプローチが時間的モデリングを一貫して強化し、3つのビデオアクション認識データセットに対して最先端のパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2020-12-15T18:58:21Z)
• Co-Saliency Spatio-Temporal Interaction Network for Person Re-Identification in Videos [85.6430597108455]
  本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。 ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。 CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
  論文  参考訳（メタデータ） (2020-04-10T10:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。