論文の概要: Video Contrastive Learning with Global Context

• arxiv url: http://arxiv.org/abs/2108.02722v1
• Date: Thu, 5 Aug 2021 16:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 14:58:58.208506
• Title: Video Contrastive Learning with Global Context
• Title（参考訳）: グローバルコンテキストによるビデオコントラスト学習
• Authors: Haofei Kuang, Yi Zhu, Zhi Zhang, Xinyu Li, Joseph Tighe, S\"oren Schwertfeger, Cyrill Stachniss, Mu Li
• Abstract要約: 正のペアを定式化するためのセグメントに基づく新しいビデオレベルのコントラスト学習手法を提案する。 我々の定式化は、ビデオの中のグローバルなコンテキストをキャプチャできるので、時間的コンテンツの変化が堅牢になる。
• 参考スコア（独自算出の注目度）: 37.966950264445394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has revolutionized self-supervised image representation learning field, and recently been adapted to video domain. One of the greatest advantages of contrastive learning is that it allows us to flexibly define powerful loss objectives as long as we can find a reasonable way to formulate positive and negative samples to contrast. However, existing approaches rely heavily on the short-range spatiotemporal salience to form clip-level contrastive signals, thus limit themselves from using global context. In this paper, we propose a new video-level contrastive learning method based on segments to formulate positive pairs. Our formulation is able to capture global context in a video, thus robust to temporal content change. We also incorporate a temporal order regularization term to enforce the inherent sequential structure of videos. Extensive experiments show that our video-level contrastive learning framework (VCLR) is able to outperform previous state-of-the-arts on five video datasets for downstream action classification, action localization and video retrieval. Code is available at https://github.com/amazon-research/video-contrastive-learning.
• Abstract（参考訳）: コントラスト学習は、自己監督型画像表現学習分野に革命をもたらし、最近ビデオ領域に適応した。 コントラスト学習の最大の利点の1つは、コントラストに正と負のサンプルを定式化する合理的な方法を見つけることができる限り、強力な損失目標を柔軟に定義できることである。 しかし、既存のアプローチは、クリップレベルのコントラスト信号を形成するために短距離時空間サリエンスに大きく依存しているため、グローバルコンテキストの使用を制限している。 本稿では,正対を定式化するためのセグメントに基づくビデオレベルのコントラスト学習手法を提案する。 提案方式は,映像中のグローバルコンテキストをキャプチャできるため,時間的コンテンツ変化に頑健である。 また,映像の逐次構造を強制するために,時間順序正規化用語も取り入れた。 我々のビデオレベルのコントラスト学習フレームワーク(VCLR)は、ダウンストリームアクション分類、アクションローカライゼーション、ビデオ検索のための5つのビデオデータセットにおいて、過去の最先端を上回ります。 コードはhttps://github.com/amazon-research/video-contrastive-learningで入手できる。

関連論文リスト

• Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
  ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。 既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。 我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
  論文  参考訳（メタデータ） (2024-03-18T04:30:31Z)
• Nearest-Neighbor Inter-Intra Contrastive Learning from Unlabeled Videos [8.486392464244267]
  最先端のコントラスト学習手法は、同じビデオから2つのクリップをポジティブとして増強する。 我々は、グローバル空間から最も近い隣の動画を、追加のポジティブなペアとして活用する。 時間的ビデオコントラスト学習 (II) は, 様々なビデオタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2023-03-13T17:38:58Z)
• TempCLR: Temporal Alignment Representation with Contrastive Learning [35.12182087403215]
  本稿では,全ビデオと段落を明示的に比較するために,対照的な学習フレームワークであるTempCLRを提案する。 ビデオと段落の事前学習に加えて,ビデオインスタンス間のマッチングも一般化できる。
  論文  参考訳（メタデータ） (2022-12-28T08:10:31Z)
• Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations [26.09611987412578]
  本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T16:42:22Z)
• Learning Transferable Spatiotemporal Representations from Natural Script Knowledge [65.40899722211726]
  本稿では,ASR(TVTS)のためのビデオトランスクリプト(Turning to Video Transcript for ASR)を提案する。 この利点により、我々のモデルは人間のように起きていることを文脈化し、現実世界の大規模未計算ビデオデータにシームレスに適用することができる。
  論文  参考訳（メタデータ） (2022-09-30T07:39:48Z)
• Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency [60.756222188023635]
  教師なしビデオにおいて,より豊富な情報を活用することで表現の学習を提案する。 HiCoは、トリミングされていないビデオのより強力な表現を生成するだけでなく、トリミングされたビデオに適用した場合の表現品質も向上する。
  論文  参考訳（メタデータ） (2022-04-06T18:04:54Z)
• Controllable Augmentations for Video Representation Learning [34.79719112810065]
  本稿では,ローカルクリップとグローバルビデオを併用して,詳細な地域レベルの対応から学習し,時間的関係を最小化する枠組みを提案する。 我々のフレームワークは、アクション認識とビデオ検索の3つのビデオベンチマークよりも優れており、より正確な時間的ダイナミクスを捉えることができる。
  論文  参考訳（メタデータ） (2022-03-30T19:34:32Z)
• CoCon: Cooperative-Contrastive Learning [52.342936645996765]
  自己教師付き視覚表現学習は効率的な映像分析の鍵である。 最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。 コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
  論文  参考訳（メタデータ） (2021-04-30T05:46:02Z)
• Composable Augmentation Encoding for Video Representation Learning [94.2358972764708]
  自己教師型ビデオ表現学習におけるコントラスト手法に着目した。 対照的な学習における一般的なパラダイムは、同じインスタンスで異なるデータビューをサンプリングし、異なるデータインスタンスを負として、ポジティブペアを構築することである。 そこで我々は,拡張パラメータの列を明示的に提供する,拡張対応型コントラスト学習フレームワークを提案する。 提案手法は,特定の空間的あるいは時間的拡張に関する情報をエンコードすると同時に,多数のビデオベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:48:53Z)
• Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework [43.002621928500425]
  ビデオから特徴表現を学習するための自己教師付き手法を提案する。 映像表現が重要であるので、負のサンプルを非負のサンプルによって拡張する。 学習した映像表現を用いて,映像検索と映像認識タスクの実験を行う。
  論文  参考訳（メタデータ） (2020-08-06T09:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。