論文の概要: Efficient Masked Autoencoders with Self-Consistency
- arxiv url: http://arxiv.org/abs/2302.14431v1
- Date: Tue, 28 Feb 2023 09:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 17:09:19.962446
- Title: Efficient Masked Autoencoders with Self-Consistency
- Title(参考訳): 自己一貫性を有する効率的なマスク付きオートエンコーダ
- Authors: Zhaowen Li, Yousong Zhu, Zhiyang Chen, Wei Li, Chaoyang Zhao, Liwei
Wu, Rui Zhao, Ming Tang, Jinqiao Wang
- Abstract要約: マスク付き画像モデリング(MIM)はコンピュータビジョンにおいて、強力で一般的な自己教師付き事前学習手法として認識されている。
自己整合性(EMAE)を有する効率的なマスク付きオートエンコーダを提案し,MIMの事前学習効率の向上と整合性の向上を図る。
EMAEは、オブジェクト検出やセマンティックセグメンテーションなど、さまざまな下流タスクにおける最先端の転送性能を一貫して取得する。
- 参考スコア(独自算出の注目度): 46.60180434598024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by masked language modeling (MLM) in natural language processing,
masked image modeling (MIM) has been recognized as a strong and popular
self-supervised pre-training method in computer vision. However, its high
random mask ratio would result in two serious problems: 1) the data are not
efficiently exploited, which brings inefficient pre-training (\eg, 1600 epochs
for MAE $vs.$ 300 epochs for the supervised), and 2) the high uncertainty and
inconsistency of the pre-trained model, \ie, the prediction of the same patch
may be inconsistent under different mask rounds. To tackle these problems, we
propose efficient masked autoencoders with self-consistency (EMAE), to improve
the pre-training efficiency and increase the consistency of MIM. In particular,
we progressively divide the image into K non-overlapping parts, each of which
is generated by a random mask and has the same mask ratio. Then the MIM task is
conducted parallelly on all parts in an iteration and generates predictions.
Besides, we design a self-consistency module to further maintain the
consistency of predictions of overlapping masked patches among parts. Overall,
the proposed method is able to exploit the data more efficiently and obtains
reliable representations. Experiments on ImageNet show that EMAE achieves even
higher results with only 300 pre-training epochs under ViT-Base than MAE (1600
epochs). EMAE also consistently obtains state-of-the-art transfer performance
on various downstream tasks, like object detection, and semantic segmentation.
- Abstract(参考訳): 自然言語処理におけるマスク付き言語モデリング(MLM)にインスパイアされたマスク付き画像モデリング(MIM)は、コンピュータビジョンにおける強力な自己教師付き事前学習手法として認識されている。
しかし、その高いランダムマスク比は2つの深刻な問題をもたらす。
1) データは効率よく利用されないため、非効率な事前学習(MAE $vs の1600 epochs)をもたらす。
監督官のために300ドルのエポック、そして
2) プリトレーニングモデルである \ie の高い不確実性と不整合は, 異なるマスクラウンドにおいて同一パッチの予測が矛盾する可能性がある。
これらの問題に対処するため,自己整合性を有する効率的なマスク付きオートエンコーダ(EMAE)を提案し,事前学習効率の向上とMIMの整合性の向上を図る。
特に、画像をK個の非重なり部分に段階的に分割し、それぞれがランダムマスクによって生成され、同じマスク比を持つ。
そして、mimタスクをイテレーションのすべての部分で並列に実行し、予測を生成する。
さらに,部分間の重なり合うパッチの予測の一貫性をさらに維持するために,自己整合モジュールを設計する。
提案手法は,データをより効率的に利用し,信頼性の高い表現が得られる。
ImageNet の実験では、EMAE は MAE (1600 epochs) よりも ViT-Base の下で300 の事前学習エポックしか達成していない。
EMAEはまた、オブジェクト検出やセマンティックセグメンテーションなど、さまざまな下流タスクにおける最先端の転送性能を一貫して取得する。
関連論文リスト
- Learning to Mask and Permute Visual Tokens for Vision Transformer
Pre-Training [59.923672191632065]
我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。
MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。
以上の結果から,MaPeTはImageNet上での競合性能を実証した。
論文 参考訳(メタデータ) (2023-06-12T18:12:19Z) - Contrastive Tuning: A Little Help to Make Masked Autoencoders Forget [10.290956481715387]
Masked Autoencoder Contrastive Tuning (MAE-CT)は、ラベルを使わずにオブジェクトのセマンティッククラスタを形成するようなリッチな機能をチューニングするためのシーケンシャルなアプローチである。
MaE-CTは手作りの強化に頼らず、最小限の拡張(クロップとフリップ)のみを使用しながら、しばしば最高のパフォーマンスを達成する。
MaE-CTは、リニアプローブ、k-NN、ローショット分類の精度、および教師なしクラスタリングの精度において、ImageNetで訓練された以前の自己教師手法よりも優れている。
論文 参考訳(メタデータ) (2023-04-20T17:51:09Z) - Mixed Autoencoder for Self-supervised Visual Representation Learning [95.98114940999653]
Masked Autoencoder (MAE) は、画像パッチと再構成をランダムにマスキングすることで、様々な視覚タスクにおいて優れた性能を示す。
本稿では,MAEのミキシング強化について検討する。
論文 参考訳(メタデータ) (2023-03-30T05:19:43Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳(メタデータ) (2023-03-12T05:28:55Z) - How Mask Matters: Towards Theoretical Understandings of Masked
Autoencoders [21.849681446573257]
再構成タスクに基づくマスケ自動エンコーダ(MAE)は、自己教師型学習(SSL)の有望なパラダイムになってきた。
本稿では,MAEが意味のある特徴を学習する上で,マスキングがいかに重要であるかを理論的に理解する。
論文 参考訳(メタデータ) (2022-10-15T17:36:03Z) - Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。
我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。
これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
論文 参考訳(メタデータ) (2021-11-11T18:46:40Z) - MST: Masked Self-Supervised Transformer for Visual Representation [52.099722121603506]
Transformerは自然言語処理(NLP)における自己教師型事前学習に広く利用されている。
我々は、画像の局所的コンテキストを明示的にキャプチャできる、MSTと呼ばれる新しいMasked Self-supervised Transformerアプローチを提案する。
MSTは、線形評価による300エポック事前トレーニングのみを使用して、DeiT-Sで76.9%のTop-1精度を達成する。
論文 参考訳(メタデータ) (2021-06-10T11:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。