論文の概要: ViC-MAE: Self-Supervised Representation Learning from Images and Video with Contrastive Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2303.12001v3
• Date: Wed, 02 Oct 2024 21:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:29:47.174398
• Title: ViC-MAE: Self-Supervised Representation Learning from Images and Video with Contrastive Masked Autoencoders
• Title（参考訳）: ViC-MAE:コントラスト型マスクオートエンコーダを用いた画像とビデオからの自己監督型表現学習
• Authors: Jefferson Hernandez, Ruben Villegas, Vicente Ordonez,
• Abstract要約: ViC-MAEはMasked AutoEncoders(MAE)とコントラスト学習を組み合わせたモデルである。 ViC-MAEで学習した視覚表現は、映像分類と画像分類の両方によく当てはまる。
• 参考スコア（独自算出の注目度）: 11.727612242016871
• License:
• Abstract: We propose ViC-MAE, a model that combines both Masked AutoEncoders (MAE) and contrastive learning. ViC-MAE is trained using a global featured obtained by pooling the local representations learned under an MAE reconstruction loss and leveraging this representation under a contrastive objective across images and video frames. We show that visual representations learned under ViC-MAE generalize well to both video and image classification tasks. Particularly, ViC-MAE obtains state-of-the-art transfer learning performance from video to images on Imagenet-1k compared to the recently proposed OmniMAE by achieving a top-1 accuracy of 86% (+1.3% absolute improvement) when trained on the same data and 87.1% (+2.4% absolute improvement) when training on extra data. At the same time ViC-MAE outperforms most other methods on video benchmarks by obtaining 75.9% top-1 accuracy on the challenging Something something-v2 video benchmark . When training on videos and images from a diverse combination of datasets, our method maintains a balanced transfer-learning performance between video and image classification benchmarks, coming only as a close second to the best supervised method.
• Abstract（参考訳）: 本研究では,Masked AutoEncoders(MAE)とコントラスト学習を組み合わせたモデルであるViC-MAEを提案する。 ViC-MAEは、MAE再構成損失下で得られた局所表現をプールし、画像やビデオフレーム間で対照的な目的の下でこの表現を活用することで得られるグローバル特徴を用いて訓練される。 ViC-MAEで学習した視覚表現は、映像分類と画像分類の両方によく当てはまる。 特に、VIC-MAEは、最近提案されたOmniMAEと比較して、同じデータでトレーニングするとトップ1の精度が86%(+1.3%)、余分なデータでトレーニングすると87.1%(+2.4%)となることにより、Imagenet-1k上の映像から画像への最先端の変換学習性能を得る。 同時に、ViC-MAEは、挑戦的な something-v2 ビデオベンチマークにおいて 75.9% のトップ-1 の精度を得ることで、ビデオベンチマークにおける他のほとんどの方法よりも優れている。 多様なデータセットの組み合わせからビデオや画像のトレーニングを行う場合、ビデオと画像分類のベンチマーク間でのバランスの取れた移動学習性能は、最高の教師付き手法の2分の1に過ぎません。

関連論文リスト

• Efficient Image Pre-Training with Siamese Cropped Masked Autoencoders [89.12558126877532]
  そこで我々は,SiamMAE が導入した Siamese プレトレーニングの代替手法である CropMAE を提案する。 本手法では, ビデオから抽出した従来のフレームの対から切り離して, 同一画像から抽出した画像の対を別々に抽出する。 CropMAEは、これまでで最も高いマスキング比(98.5%)を達成し、2つの目に見えるパッチのみを使用して画像の再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:04:19Z)
• AV-MaskEnhancer: Enhancing Video Representations through Audio-Visual Masked Autoencoder [3.8735222804007394]
  視覚情報と音声情報を組み合わせて高品質な映像表現を学習するためのAV-MaskEnhancerを提案する。 本手法は,モーダリティコンテンツにおける音声とビデオの特徴の相補的な性質を実証することによる課題に対処する。
  論文  参考訳（メタデータ） (2023-09-15T19:56:15Z)
• HomE: Homography-Equivariant Video Representation Learning [62.89516761473129]
  マルチビュービデオの表現学習のための新しい手法を提案する。 提案手法は異なる視点間の暗黙的なマッピングを学習し,近隣の視点間のホモグラフィ関係を維持する表現空間を決定づける。 動作分類では,UCF101データセットの96.4%の3倍精度が得られた。
  論文  参考訳（メタデータ） (2023-06-02T15:37:43Z)
• Masked Video Distillation: Rethinking Masked Feature Modeling for Self-supervised Video Representation Learning [123.63301596019522]
  Masked Video distillation (MVD) は、ビデオ表現学習のための単純な2段階マスク付き特徴モデリングフレームワークである。 教師モデルを選択するために,ビデオ教師が教える生徒が時間重のビデオタスクにおいて,より優れたパフォーマンスを発揮することを観察する。 我々は,異なる教師の利点を活用するために,MVDのための時空間協調学習法を設計する。
  論文  参考訳（メタデータ） (2022-12-08T18:59:59Z)
• Boosting Video Representation Learning with Multi-Faceted Integration [112.66127428372089]
  ビデオコンテンツは多面的であり、オブジェクト、シーン、インタラクション、アクションで構成されている。 既存のデータセットは、主にモデルトレーニングのファセットの1つだけをラベル付けする。 我々は,ビデオコンテンツの全スペクトルを反映した表現を学習するために,異なるデータセットから顔データを集約する,MUFI(MUlti-Faceted Integration)という新たな学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-11T16:14:23Z)
• ASCNet: Self-supervised Video Representation Learning with Appearance-Speed Consistency [62.38914747727636]
  本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。 既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。 本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
  論文  参考訳（メタデータ） (2021-06-04T08:44:50Z)
• RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning [100.76672109782815]
  本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。 動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。 再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:42:50Z)
• Self-supervised Video Representation Learning Using Inter-intra Contrastive Framework [43.002621928500425]
  ビデオから特徴表現を学習するための自己教師付き手法を提案する。 映像表現が重要であるので、負のサンプルを非負のサンプルによって拡張する。 学習した映像表現を用いて,映像検索と映像認識タスクの実験を行う。
  論文  参考訳（メタデータ） (2020-08-06T09:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。