論文の概要: Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations

• arxiv url: http://arxiv.org/abs/2212.03125v1
• Date: Tue, 6 Dec 2022 16:42:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 17:19:25.261712
• Title: Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations
• Title（参考訳）: フレームワイズ行動表現のための自己教師付き弱教師付きコントラスト学習
• Authors: Minghao Chen, Renbo Tu, Chenxi Huang, Yuqi Lin, Boxi Wu, Deng Cai
• Abstract要約: 本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 26.09611987412578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.
• Abstract（参考訳）: アクション表現学習に関する以前の研究は、短いビデオクリップのグローバル表現に焦点を当てていた。 対照的に、ビデオアライメントのような多くの実践的応用は、長いビデオの集中的な表現を学習することを強く要求している。 本稿では,特に長編ビデオにおいて,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するコントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,畳み込みとトランスフォーマーを組み合わせることで,時間的文脈と時間的文脈の両方を考慮した,単純かつ効果的なビデオエンコーダを提案する。 近年の自己教師型学習の進歩に触発されて,2種類の時空間データを拡張して得られた2つの関連見解に新たなシーケンスコントラスト損失(SCL)を提案する。 ひとつは、二つの拡張ビューのシーケンス類似性と、タイムスタンプ距離のガウス分布の間のKL分割を最小化することにより、埋め込み空間を最適化する自己教師バージョンである。 もう1つは、動的タイムラッピング(dtw)によるビデオレベルのラベルを使用して、ビデオ間でより多くのサンプルペアを構築する弱い教師付きバージョンである。 FineGym, PennAction, Pouring のデータセットによる実験により,我々の手法は,下流のきめ細かい動作分類とより高速な推論において,最先端の手法よりも大きなマージンで優れていることが示された。 驚くべきことに、以前の作品のようなペアビデオのトレーニングがなければ、私たちの自己監督バージョンは、ビデオアライメントやきめ細かいフレーム検索タスクにおいて、優れたパフォーマンスを示しています。

関連論文リスト

• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning [44.412145665354736]
  本稿では,フレームワイドな行動表現を学習するための,新しいコントラッシブな行動表現学習フレームワークを提案する。 自己教師型学習の最近の進歩に触発されて,2つの相関する視点に適用した新しいシーケンス・コントラッシブ・ロス(SCL)を提案する。 提案手法は,映像アライメントや細かなフレーム検索作業において,優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-28T17:59:54Z)
• Unsupervised Pre-training for Temporal Action Localization Tasks [76.01985780118422]
  本稿では、Pseudo Action Localization (PAL) と呼ばれる自己教師付きプレテキストタスクを、時間的アクションローカライゼーションタスク(UP-TAL)のための教師なし事前訓練機能エンコーダに提案する。 具体的には、まず1つのビデオから複数のクリップを含む時間領域をランダムに選択し、他の2つのビデオの異なる時間的位置に貼り付ける。 前提課題は、2つの合成ビデオからペーストした擬似行動領域の特徴を調整し、両者の合意を最大化することである。
  論文  参考訳（メタデータ） (2022-03-25T12:13:43Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)
• Learning Implicit Temporal Alignment for Few-shot Video Classification [40.57508426481838]
  少数のビデオ分類は、いくつかのラベル付き例で新しいビデオカテゴリを学ぶことを目的としています。 このような設定でクラス不変な空間-時間表現を学ぶことは特に難しい。 本研究は,映像系列に対する新しいマッチングベースの少数ショット学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-11T07:18:57Z)
• Semi-Supervised Action Recognition with Temporal Contrastive Learning [50.08957096801457]
  2つの異なる速度でラベル付きビデオを用いて2経路の時間的コントラストモデルを学習する。 我々は最先端の半教師付き画像認識手法の映像拡張性能を著しく向上させた。
  論文  参考訳（メタデータ） (2021-02-04T17:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。