論文の概要: Rethinking Patch Dependence for Masked Autoencoders

• arxiv url: http://arxiv.org/abs/2401.14391v1
• Date: Thu, 25 Jan 2024 18:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 13:32:23.868285
• Title: Rethinking Patch Dependence for Masked Autoencoders
• Title（参考訳）: マスクオートエンコーダのパッチ依存性の再考
• Authors: Letian Fu, Long Lian, Renhao Wang, Baifeng Shi, Xudong Wang, Adam Yala, Trevor Darrell, Alexei A. Efros, Ken Goldberg
• Abstract要約: マスク付きオートエンコーダ(MAE)の復号機構におけるパッチ間依存関係の再検討 我々は,クロスアテンション・マスケッド・オートエンコーダ(CrossMAE)という新しい事前学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 92.37365660775171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we re-examine inter-patch dependencies in the decoding mechanism of masked autoencoders (MAE). We decompose this decoding mechanism for masked patch reconstruction in MAE into self-attention and cross-attention. Our investigations suggest that self-attention between mask patches is not essential for learning good representations. To this end, we propose a novel pretraining framework: Cross-Attention Masked Autoencoders (CrossMAE). CrossMAE's decoder leverages only cross-attention between masked and visible tokens, with no degradation in downstream performance. This design also enables decoding only a small subset of mask tokens, boosting efficiency. Furthermore, each decoder block can now leverage different encoder features, resulting in improved representation learning. CrossMAE matches MAE in performance with 2.5 to 3.7$\times$ less decoding compute. It also surpasses MAE on ImageNet classification and COCO instance segmentation under the same compute. Code and models: https://crossmae.github.io
• Abstract（参考訳）: 本研究では,マスク付きオートエンコーダ(MAE)の復号機構におけるパッチ間の依存関係を再検討する。 我々は,maeのマスクパッチ再構成のためのこのデコード機構を自己着脱とクロス着脱に分解する。 本研究は,マスクパッチ間の自己着脱が良好な表現を学ぶ上で必須ではないことを示唆する。 そこで本研究では,新しい事前学習フレームワークであるcross-attention masked autoencoder (crossmae)を提案する。 crossmaeのデコーダは、マスクトークンと可視トークン間のクロスアテンションのみを利用しており、ダウンストリームのパフォーマンスは低下しない。 この設計により、マスクトークンの小さなサブセットのみのデコードが可能となり、効率が向上する。 さらに、各デコーダブロックは異なるエンコーダ機能を利用することができ、それによって表現学習が改善される。 CrossMAE は MAE のパフォーマンスを 2.5 から 3.7$\times$ less decoding compute で比較する。 また、同じ計算でImageNet分類とCOCOインスタンスのセグメンテーションでMAEを上回っている。 コードとモデル: https://crossmae.github.io

関連論文リスト

• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• Siamese Masked Autoencoders [76.35448665609998]
  ビデオから視覚的対応を学習するために,Siamese Masked Autoencoders(SiamMAE)を提案する。 SiamMAEはランダムにサンプリングされたビデオフレームのペアで動作し、非対称にそれらをマスクする。 ビデオオブジェクトのセグメンテーション、キーポイントのプロパゲーション、セマンティック部分のプロパゲーションタスクにおいて、最先端の自己管理手法よりも優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:59:46Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• Masked Autoencoders that Listen [79.99280830830854]
  本稿では,画像ベースMasked Autoencoders(MAE)の音声スペクトログラムからの自己教師型表現学習への簡単な拡張について検討する。 MAEにおけるTransformer encoder-decoderの設計に続いて、Audio-MAEはまず、ハイマスキング比でオーディオスペクトログラムパッチを符号化し、エンコーダ層を介して非マスキングトークンのみを供給します。 次にデコーダは、入力スペクトログラムを再構築するために、マスクトークンでパッドされたエンコードされたコンテキストを再注文し、デコードする。
  論文  参考訳（メタデータ） (2022-07-13T17:59:55Z)
• MAE-AST: Masked Autoencoding Audio Spectrogram Transformer [11.814012909512307]
  本稿では,音声と音声の分類のための音声スペクトル変換器(SSAST)モデルに対する簡易かつ強力な改良を提案する。 我々は、SSASTが事前トレーニング中に非常に高いマスキング比(75%)を使用するという知見を活用する。 MAEライクな事前トレーニングは,バニラSSASTよりも3倍のスピードアップと2倍のメモリ使用量の削減を可能にする。
  論文  参考訳（メタデータ） (2022-03-30T22:06:13Z)
• Context Autoencoder for Self-Supervised Representation Learning [64.63908944426224]
  符号化された表現空間で予測を行うことにより、符号化器を事前訓練する。 ネットワークはエンコーダ/レグレッサ/デコーダアーキテクチャである。 下流タスクにおける転送性能の向上によるCAEの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-07T09:33:45Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。