論文の概要: TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning

• arxiv url: http://arxiv.org/abs/2112.03587v1
• Date: Tue, 7 Dec 2021 09:27:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 14:47:32.193515
• Title: TCGL: Temporal Contrastive Graph for Self-supervised Video Representation Learning
• Title（参考訳）: TCGL:自己教師型ビデオ表現学習のための時間的コントラストグラフ
• Authors: Yang Liu, Keze Wang, Lingbo Liu, Haoyuan Lan, Liang Lin
• Abstract要約: 本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。 TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。 ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
• 参考スコア（独自算出の注目度）: 79.77010271213695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video self-supervised learning is a challenging task, which requires significant expressive power from the model to leverage rich spatial-temporal knowledge and generate effective supervisory signals from large amounts of unlabeled videos. However, existing methods fail to increase the temporal diversity of unlabeled videos and ignore elaborately modeling multi-scale temporal dependencies in an explicit way. To overcome these limitations, we take advantage of the multi-scale temporal dependencies within videos and proposes a novel video self-supervised learning framework named Temporal Contrastive Graph Learning (TCGL), which jointly models the inter-snippet and intra-snippet temporal dependencies for temporal representation learning with a hybrid graph contrastive learning strategy. Specifically, a Spatial-Temporal Knowledge Discovering (STKD) module is first introduced to extract motion-enhanced spatial-temporal representations from videos based on the frequency domain analysis of discrete cosine transform. To explicitly model multi-scale temporal dependencies of unlabeled videos, our TCGL integrates the prior knowledge about the frame and snippet orders into graph structures, i.e., the intra-/inter- snippet Temporal Contrastive Graphs (TCG). Then, specific contrastive learning modules are designed to maximize the agreement between nodes in different graph views. To generate supervisory signals for unlabeled videos, we introduce an Adaptive Snippet Order Prediction (ASOP) module which leverages the relational knowledge among video snippets to learn the global context representation and recalibrate the channel-wise features adaptively. Experimental results demonstrate the superiority of our TCGL over the state-of-the-art methods on large-scale action recognition and video retrieval benchmarks.
• Abstract（参考訳）: 豊富な空間的時間的知識を活用し、大量のラベルのないビデオから効果的な監督信号を生成するためには、モデルから多大な表現力を必要とする。 しかし、既存の手法ではラベルのないビデオの時間的多様性が増すことができず、明示的な方法で複数のスケールの時間的依存性を精巧にモデル化することを無視している。 これらの制約を克服するために,ビデオ内の複数スケールの時間依存性を活用し,ハイブリッドグラフコントラスト学習戦略を用いた時間表現学習において,時間的コントラストグラフ学習(tcgl)と呼ばれる新しいビデオ自己教師付き学習フレームワークを提案する。 具体的には、離散コサイン変換の周波数領域解析に基づいて、動画から運動強調時空間表現を抽出するために、時空間知識探索(STKD)モジュールを導入する。 ラベル付きビデオのマルチスケール時間依存性を明示的にモデル化するために,我々のTCGLは,フレームとスニペットの順序に関する事前知識をグラフ構造,すなわち,インター/インタースニペットの時間トラストグラフ(TCG)に統合する。 次に、異なるグラフビューにおけるノード間の合意を最大化するために、特定のコントラスト学習モジュールを設計する。 本研究では,ビデオスニペット間の関係知識を活用して,グローバルなコンテキスト表現を学習し,チャネルワイズ機能を適応的に再検討する適応スニペット順序予測(ASOP)モジュールを提案する。 大規模行動認識およびビデオ検索ベンチマークにおける最先端手法よりも,TCGLの方が優れていることを示す実験結果が得られた。

関連論文リスト

• Self-Supervised Video Representation Learning via Latent Time Navigation [12.721647696921865]
  自己教師付きビデオ表現学習は、1つのビデオの異なる時間セグメント間の類似性を最大化することを目的としている。 微粒な動きを捉えるために、LTN(Latent Time Navigation)を提案する。 実験により,LTNによる映像表現の学習は,動作分類の性能を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-10T20:06:17Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring [82.84513669453744]
  画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。 画像間知識伝達の文脈における時間的モデリングを再考する。 本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-26T14:12:02Z)
• Spatiotemporal Inconsistency Learning for DeepFake Video Detection [51.747219106855624]
  本稿では,水平方向と垂直方向の両方で隣接するフレーム間の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。 ISMは、SIMからの空間情報とTIMからの時間情報とを同時に利用し、より包括的な時空間表現を確立する。
  論文  参考訳（メタデータ） (2021-09-04T13:05:37Z)
• Enhancing Self-supervised Video Representation Learning via Multi-level Feature Optimization [30.670109727802494]
  本稿では,学習ビデオ表現の一般化と時間的モデリング能力を改善するための多段階特徴最適化フレームワークを提案する。 実験により,グラフ制約と時間的モデリングによるマルチレベル特徴最適化は,映像理解における表現能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-08-04T17:16:18Z)
• Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos [78.45050529204701]
  クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。 CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。 グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
  論文  参考訳（メタデータ） (2021-04-15T14:32:12Z)
• Temporal Contrastive Graph Learning for Video Action Recognition and Retrieval [83.56444443849679]
  本研究では,動画内の時間依存性を利用して,TCGL (temporal Contrastive Graph Learning) という新たな自己監督手法を提案する。 TCGLは、スニペット間およびスニペット内時間依存性を時間表現学習のための自己監督信号として共同で評価するハイブリッドグラフコントラスト学習戦略をルーツとしています。 実験結果は、大規模アクション認識およびビデオ検索ベンチマークにおける最先端の方法よりも、TCGLの優位性を示しています。
  論文  参考訳（メタデータ） (2021-01-04T08:11:39Z)
• Temporal Relational Modeling with Self-Supervision for Action Segmentation [38.62057004624234]
  ビデオの時間関係をモデル化するための拡張時間グラフ推論モジュール(DTGRM)を紹介します。 特に,多レベル拡張時間グラフの構築により時間関係を捉え,モデル化する。 私たちのモデルは3つの挑戦的なデータセットで最先端のアクションセグメンテーションモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-12-14T13:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。