論文の概要: Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning

• arxiv url: http://arxiv.org/abs/2203.14957v1
• Date: Mon, 28 Mar 2022 17:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 16:08:24.799726
• Title: Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning
• Title（参考訳）: シーケンスコントラスト学習による長編ビデオのフレームワイズ行動表現
• Authors: Minghao Chen, Fangyun Wei, Chong Li, Deng Cai
• Abstract要約: 本稿では,フレームワイドな行動表現を学習するための,新しいコントラッシブな行動表現学習フレームワークを提案する。 自己教師型学習の最近の進歩に触発されて,2つの相関する視点に適用した新しいシーケンス・コントラッシブ・ロス(SCL)を提案する。 提案手法は,映像アライメントや細かなフレーム検索作業において,優れた性能を示す。
• 参考スコア（独自算出の注目度）: 44.412145665354736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior works on action representation learning mainly focus on designing various architectures to extract the global representations for short video clips. In contrast, many practical applications such as video alignment have strong demand for learning dense representations for long videos. In this paper, we introduce a novel contrastive action representation learning (CARL) framework to learn frame-wise action representations, especially for long videos, in a self-supervised manner. Concretely, we introduce a simple yet efficient video encoder that considers spatio-temporal context to extract frame-wise representations. Inspired by the recent progress of self-supervised learning, we present a novel sequence contrastive loss (SCL) applied on two correlated views obtained through a series of spatio-temporal data augmentations. SCL optimizes the embedding space by minimizing the KL-divergence between the sequence similarity of two augmented views and a prior Gaussian distribution of timestamp distance. Experiments on FineGym, PennAction and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification. Surprisingly, although without training on paired videos, our approach also shows outstanding performance on video alignment and fine-grained frame retrieval tasks. Code and models are available at https://github.com/minghchen/CARL_code.
• Abstract（参考訳）: アクション表現学習の研究は、主にショートビデオクリップのグローバル表現を抽出する様々なアーキテクチャの設計に焦点を当てていた。 対照的に、ビデオアライメントのような多くの実践的応用は、長いビデオの高密度表現を学習するのに強い需要がある。 本稿では,フレームワイドなアクション表現(特に長編ビデオ)を自己監督的に学習するための,新しいコントラッシブ・アクション表現学習(CARL)フレームワークを提案する。 具体的には,時空間的文脈を考慮した簡易かつ効率的な映像エンコーダを提案する。 近年の自己教師付き学習の進歩に触発されて,時空間データ拡張によって得られた2つの相関ビューに適用した,新しいシーケンスコントラスト損失 (scl) を提案する。 SCLは、2つの拡張ビューのシーケンス類似性と、タイムスタンプ距離のガウス分布の間のKL分割を最小化し、埋め込み空間を最適化する。 FineGym, PennAction, Pouring のデータセットを用いた実験により, 提案手法は下流の微細な動作分類において, 従来の最先端技術よりも優れていたことがわかった。 驚くべきことに、ペアビデオのトレーニングを受けなくても、ビデオアライメントやきめ細かなフレーム検索タスクにおいて優れたパフォーマンスを示すことができる。 コードとモデルはhttps://github.com/minghchen/carl_codeで入手できる。

関連論文リスト

• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations [26.09611987412578]
  本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T16:42:22Z)
• Cross-Architecture Self-supervised Video Representation Learning [42.267775859095664]
  自己教師型ビデオ表現学習のためのクロスアーキテクチャ・コントラスト学習フレームワークを提案する。 本稿では,2つのビデオシーケンス間の編集距離を明示的に予測できる時間的自己教師型学習モジュールを提案する。 UCF101およびHMDB51データセットにおける映像検索と行動認識のタスクについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2022-05-26T12:41:19Z)
• Unsupervised Pre-training for Temporal Action Localization Tasks [76.01985780118422]
  本稿では、Pseudo Action Localization (PAL) と呼ばれる自己教師付きプレテキストタスクを、時間的アクションローカライゼーションタスク(UP-TAL)のための教師なし事前訓練機能エンコーダに提案する。 具体的には、まず1つのビデオから複数のクリップを含む時間領域をランダムに選択し、他の2つのビデオの異なる時間的位置に貼り付ける。 前提課題は、2つの合成ビデオからペーストした擬似行動領域の特徴を調整し、両者の合意を最大化することである。
  論文  参考訳（メタデータ） (2022-03-25T12:13:43Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)
• Learning Implicit Temporal Alignment for Few-shot Video Classification [40.57508426481838]
  少数のビデオ分類は、いくつかのラベル付き例で新しいビデオカテゴリを学ぶことを目的としています。 このような設定でクラス不変な空間-時間表現を学ぶことは特に難しい。 本研究は,映像系列に対する新しいマッチングベースの少数ショット学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-11T07:18:57Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)
• Learning by Aligning Videos in Time [10.075645944474287]
  本稿では,時間的映像アライメントを前提課題として,映像表現を学習するための自己教師型アプローチを提案する。 我々は、エンコーダネットワークをトレーニングするための監視信号として使用できる、時間的アライメント損失と時間的正規化項の新たな組み合わせを利用する。
  論文  参考訳（メタデータ） (2021-03-31T17:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。