論文の概要: Masked Autoencoders are Efficient Class Incremental Learners

• arxiv url: http://arxiv.org/abs/2308.12510v1
• Date: Thu, 24 Aug 2023 02:49:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 15:46:51.622290
• Title: Masked Autoencoders are Efficient Class Incremental Learners
• Title（参考訳）: マスクオートエンコーダは効率的なクラスインクリメンタル学習者である
• Authors: Jiang-Tian Zhai, Xialei Liu, Andrew D. Bagdanov, Ke Li, Ming-Ming Cheng
• Abstract要約: クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。 本稿では,CIL の学習に Masked Autoencoders (MAEs) を用いることを提案する。
• 参考スコア（独自算出の注目度）: 64.90846899051164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class Incremental Learning (CIL) aims to sequentially learn new classes while avoiding catastrophic forgetting of previous knowledge. We propose to use Masked Autoencoders (MAEs) as efficient learners for CIL. MAEs were originally designed to learn useful representations through reconstructive unsupervised learning, and they can be easily integrated with a supervised loss for classification. Moreover, MAEs can reliably reconstruct original input images from randomly selected patches, which we use to store exemplars from past tasks more efficiently for CIL. We also propose a bilateral MAE framework to learn from image-level and embedding-level fusion, which produces better-quality reconstructed images and more stable representations. Our experiments confirm that our approach performs better than the state-of-the-art on CIFAR-100, ImageNet-Subset, and ImageNet-Full. The code is available at https://github.com/scok30/MAE-CIL .
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。 本稿では,CIL の学習に Masked Autoencoders (MAE) を用いることを提案する。 MAEはもともと、再構成された教師なし学習を通じて有用な表現を学ぶように設計されており、教師付き損失と容易に統合することができる。 さらにMAEは、CILの過去のタスクの例をより効率的に保存するために、ランダムに選択されたパッチから元の入力イメージを確実に再構築することができる。 また、画像レベルと埋め込みレベルの融合から学習するための双方向のMAEフレームワークを提案し、高品質な再構成画像とより安定した表現を生成する。 実験の結果,CIFAR-100, ImageNet-Subset, ImageNet-Fullの最先端技術よりも優れた性能を示した。 コードはhttps://github.com/scok30/MAE-CILで入手できる。

関連論文リスト

• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Masked Contrastive Representation Learning [6.737710830712818]
  本研究では,自己指導型視覚前訓練のためのMasked Contrastive Representation Learning(MACRL)を提案する。 我々は、サイムズネットワーク(すなわち、両方の枝のエンコーダ・デコーダ構造)に対して非対称な設定を採用する。 実験では、CIFAR-10、CIFAR-100、Tiny-ImageNet、および他の2つのImageNetサブセットを含む様々なビジョンベンチマークにおいて、MACRLが優れた結果を示す。
  論文  参考訳（メタデータ） (2022-11-11T05:32:28Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners [20.846232536796578]
  自己教師型マスケ自動エンコーダ(MAE)は、その印象的な表現学習能力に対して前例のない注目を集めている。 本稿では、教師付き分類分岐を追加することにより、完全に教師付き設定まで拡張する。 提案されたSupervised MAE (SupMAE) は、すべてのイメージパッチを使用する標準的な教師付き事前トレーニングとは異なり、分類のための画像パッチの可視サブセットのみを利用する。
  論文  参考訳（メタデータ） (2022-05-28T23:05:03Z)
• Adversarial Masking for Self-Supervised Learning [81.25999058340997]
  自己教師付き学習のためのマスク付き画像モデル(MIM)フレームワークであるADIOSを提案する。 対向目的物を用いてマスキング機能と画像エンコーダを同時に学習する。 さまざまなタスクやデータセットに対する最先端の自己教師付き学習(SSL)メソッドを一貫して改善する。
  論文  参考訳（メタデータ） (2022-01-31T10:23:23Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。