論文の概要: Efficient Image Pre-Training with Siamese Cropped Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2403.17823v2
• Date: Thu, 18 Jul 2024 08:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 21:01:57.122898
• Title: Efficient Image Pre-Training with Siamese Cropped Masked Autoencoders
• Title（参考訳）: Siamese Cropped Masked Autoencoders を用いた効率的な画像事前学習
• Authors: Alexandre Eymaël, Renaud Vandeghen, Anthony Cioppa, Silvio Giancola, Bernard Ghanem, Marc Van Droogenbroeck,
• Abstract要約: そこで我々は,SiamMAE が導入した Siamese プレトレーニングの代替手法である CropMAE を提案する。 本手法では, ビデオから抽出した従来のフレームの対から切り離して, 同一画像から抽出した画像の対を別々に抽出する。 CropMAEは、これまでで最も高いマスキング比(98.5%)を達成し、2つの目に見えるパッチのみを使用して画像の再構成を可能にする。
• 参考スコア（独自算出の注目度）: 89.12558126877532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pre-training of image encoders is omnipresent in the literature, particularly following the introduction of Masked autoencoders (MAE). Current efforts attempt to learn object-centric representations from motion in videos. In particular, SiamMAE recently introduced a Siamese network, training a shared-weight encoder from two frames of a video with a high asymmetric masking ratio (95%). In this work, we propose CropMAE, an alternative approach to the Siamese pre-training introduced by SiamMAE. Our method specifically differs by exclusively considering pairs of cropped images sourced from the same image but cropped differently, deviating from the conventional pairs of frames extracted from a video. CropMAE therefore alleviates the need for video datasets, while maintaining competitive performances and drastically reducing pre-training and learning time. Furthermore, we demonstrate that CropMAE learns similar object-centric representations without explicit motion, showing that current self-supervised learning methods do not learn such representations from explicit object motion, but rather thanks to the implicit image transformations that occur between the two views. Finally, CropMAE achieves the highest masking ratio to date (98.5%), enabling the reconstruction of images using only two visible patches. Our code is available at https://github.com/alexandre-eymael/CropMAE.
• Abstract（参考訳）: 画像エンコーダの自己教師付き事前訓練は、特にMasked Autoencoder (MAE) の導入後、文学において一様である。 現在の試みは、動画のモーションからオブジェクト中心の表現を学習しようとする試みである。 特に最近、SiamMAEはSiameseネットワークを導入し、高い非対称マスキング比(95%)の動画の2フレームから共有重み付きエンコーダをトレーニングした。 そこで本研究では,SiamMAE が導入した Siamese プレトレーニングの代替手法である CropMAE を提案する。 本手法は, ビデオから抽出した従来のフレームの対から切り離して, 同一画像から抽出した画像の対を別々に抽出することにより, 特別に異なる。 CropMAEは、競争力のあるパフォーマンスを維持しながら、事前トレーニングや学習時間を劇的に短縮しながら、ビデオデータセットの必要性を軽減します。 さらに、CropMAEは明示的な動きを伴わずに類似したオブジェクト中心の表現を学習し、現在の自己教師付き学習手法は、その表現を明示的な物体の動きから学ばず、むしろ2つの視点の間に生じる暗黙的な画像変換によって学習していることを示す。 最終的に、CropMAEは、これまでで最も高いマスキング比(98.5%)を達成した。 私たちのコードはhttps://github.com/alexandre-eymael/CropMAE.comで公開されています。

関連論文リスト

• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• Concatenated Masked Autoencoders as Spatial-Temporal Learner [6.475592804311682]
  自己教師型ビデオ表現学習のための時空間学習システムとして,Concatenated Masked Autoencoders (CatMAE)を導入した。 そこで本研究では,ビデオフレームをモデル再構成ターゲットとして用いた新しいデータ拡張戦略であるVideo-Reverse(ViRe)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T03:08:26Z)
• Motion-Guided Masking for Spatiotemporal Representation Learning [16.9547105658246]
  動きベクトルを利用して各マスクの位置を経時的に案内する動き誘導マスキングアルゴリズム(MGM)を提案する。 2つの挑戦的な大規模ビデオベンチマークでは、MGMにビデオMAEを装備し、従来の最先端の手法と比較して最大$1.3%の改善を実現した。
  論文  参考訳（メタデータ） (2023-08-24T17:58:04Z)
• Siamese Masked Autoencoders [76.35448665609998]
  ビデオから視覚的対応を学習するために,Siamese Masked Autoencoders(SiamMAE)を提案する。 SiamMAEはランダムにサンプリングされたビデオフレームのペアで動作し、非対称にそれらをマスクする。 ビデオオブジェクトのセグメンテーション、キーポイントのプロパゲーション、セマンティック部分のプロパゲーションタスクにおいて、最先端の自己管理手法よりも優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:59:46Z)
• DropMAE: Masked Autoencoders with Spatial-Attention Dropout for Tracking Tasks [76.24996889649744]
  Masked Autoencoder (MAE) Pretraining on video for matching-based downstream task, including visual object tracking (VOT) and video object segmentation (VOS) そこで我々は,映像における時間的対応学習を容易にするために,フレーム再構成において空間的アテンション・ドロップアウトを適応的に行うDropMAEを提案する。 本モデルは,9つの競争力のあるビデオ追跡とセグメンテーションデータセットのうち8つに,最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2023-04-02T16:40:42Z)
• Masked Motion Encoding for Self-Supervised Video Representation Learning [84.24773072241945]
  Masked Motion MMEは、外観情報と動作情報の両方を再構成し、時間的手がかりを探索する新しい事前学習パラダイムである。 物体の位置変化や形状変化を追跡することで、人間が行動を認識することができるという事実を動機として、マスク領域におけるこれらの2種類の変化を表す運動軌跡を再構築することを提案する。 我々のMMEパラダイムで事前訓練されたモデルでは、長期的かつきめ細かな動きの詳細を予測できる。
  論文  参考訳（メタデータ） (2022-10-12T11:19:55Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。