論文の概要: When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning

• arxiv url: http://arxiv.org/abs/2503.15096v1
• Date: Wed, 19 Mar 2025 10:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:23:27.485337
• Title: When the Future Becomes the Past: Taming Temporal Correspondence for Self-supervised Video Representation Learning
• Title（参考訳）: 未来が過去のものになるとき--自己教師型ビデオ表現学習のための時間対応の育成
• Authors: Yang Liu, Qianqian Xu, Peisong Wen, Siran Dai, Qingming Huang,
• Abstract要約: ビデオ表現学習における時間対応を利用した自己教師型フレームワーク(T-CoRe)を提案する。 T-CoReの実験は、複数の下流タスクに対して一貫して優れた性能を示し、ビデオ表現学習の有効性を実証している。
• 参考スコア（独自算出の注目度）: 80.09819072780193
• License:
• Abstract: The past decade has witnessed notable achievements in self-supervised learning for video tasks. Recent efforts typically adopt the Masked Video Modeling (MVM) paradigm, leading to significant progress on multiple video tasks. However, two critical challenges remain: 1) Without human annotations, the random temporal sampling introduces uncertainty, increasing the difficulty of model training. 2) Previous MVM methods primarily recover the masked patches in the pixel space, leading to insufficient information compression for downstream tasks. To address these challenges jointly, we propose a self-supervised framework that leverages Temporal Correspondence for video Representation learning (T-CoRe). For challenge 1), we propose a sandwich sampling strategy that selects two auxiliary frames to reduce reconstruction uncertainty in a two-side-squeezing manner. Addressing challenge 2), we introduce an auxiliary branch into a self-distillation architecture to restore representations in the latent space, generating high-level semantic representations enriched with temporal information. Experiments of T-CoRe consistently present superior performance across several downstream tasks, demonstrating its effectiveness for video representation learning. The code is available at https://github.com/yafeng19/T-CORE.
• Abstract（参考訳）: 過去10年間、ビデオタスクのための自己教師型学習における顕著な成果を目にしてきた。 最近の取り組みは一般的にMVM(Masked Video Modeling)パラダイムを採用しており、複数のビデオタスクに大きな進歩をもたらした。 しかし、2つの重要な課題が残る。 1) 人間のアノテーションがなければ, ランダムな時間的サンプリングは不確実性を導入し, モデルトレーニングの難しさを増大させる。 2) 従来のMVMメソッドは,主に画素空間のマスキングパッチを復元し,下流タスクに対する情報圧縮が不十分であった。 これらの課題に共同で対処するために,ビデオ表現学習(T-CoRe)に時間対応を活用した自己教師型フレームワークを提案する。 課題1として,2つの補助枠を選択するサンドイッチサンプリング手法を提案する。 課題2に対処するため,潜伏空間の表現を復元する自己蒸留アーキテクチャに補助分岐を導入し,時間情報に富んだ高レベルな意味表現を生成する。 T-CoReの実験は、複数の下流タスクに対して一貫して優れた性能を示し、ビデオ表現学習の有効性を実証している。 コードはhttps://github.com/yafeng19/T-COREで公開されている。

関連論文リスト

• No More Shortcuts: Realizing the Potential of Temporal Self-Supervision [69.59938105887538]
  本稿では、フレームレベルの認識タスクではなく、フレームレベルの認識タスクとして、時間的自己監督のより困難な再構築を提案する。 我々は、より困難なフレームレベルのタスクの定式化とショートカットの削除が、時間的自己監督によって学習された特徴の質を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-12-20T13:20:31Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Long-Short Temporal Co-Teaching for Weakly Supervised Video Anomaly Detection [14.721615285883423]
  弱教師付き異常検出(WS-VAD)はビデオレベルのアノテーションだけでVADモデルを学習することを目的とした課題である。 提案手法は,異なる期間の異常や微妙な異常に対処できる。
  論文  参考訳（メタデータ） (2023-03-31T13:28:06Z)
• Unmasked Teacher: Towards Training-Efficient Video Foundation Models [50.19560876891811]
  ビデオファウンデーションモデル(VFM)は、高い計算コストとデータ不足のため、限られた探索を受けている。 本稿では,既存の手法の利点を生かした時間感応型VFMの訓練効率向上手法を提案する。 我々のモデルは、シーン関連、時間関連、複雑なビデオ言語理解を含む様々なタスクを処理できる。
  論文  参考訳（メタデータ） (2023-03-28T15:39:28Z)
• Self-supervised and Weakly Supervised Contrastive Learning for Frame-wise Action Representations [26.09611987412578]
  本稿では,フレームワイドな行動表現を自己監督的あるいは弱監督的に学習するための,コントラッシブ・アクション表現学習(CARL)の枠組みを紹介する。 具体的には,空間的コンテキストと時間的コンテキストの両方を考慮した,シンプルだが効果的なビデオエンコーダを提案する。 提案手法は,下流の微細な動作分類とより高速な推論において,従来の最先端技術よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T16:42:22Z)
• Masked Motion Encoding for Self-Supervised Video Representation Learning [84.24773072241945]
  Masked Motion MMEは、外観情報と動作情報の両方を再構成し、時間的手がかりを探索する新しい事前学習パラダイムである。 物体の位置変化や形状変化を追跡することで、人間が行動を認識することができるという事実を動機として、マスク領域におけるこれらの2種類の変化を表す運動軌跡を再構築することを提案する。 我々のMMEパラダイムで事前訓練されたモデルでは、長期的かつきめ細かな動きの詳細を予測できる。
  論文  参考訳（メタデータ） (2022-10-12T11:19:55Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。