論文の概要: Masked Swingers: Harnessing Data Augmentation to Advance Autoencoders for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2609.38278v1
• Date: Tue, 29 Sep 2026 15:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.471154
• Title: Masked Swingers: Harnessing Data Augmentation to Advance Autoencoders for Self-Supervised Learning
• Title（参考訳）: Masked Swingers: 自己教師型学習のための自動エンコーダ向上のためのデータ強化
• Abstract要約: 自己教師付き学習(SSL)はアノテーションの必要性を排除し、教師付き学習よりも多くのドメインにわたってモデルを機能させる。 Masked Autoencoders (MAE)は、このフレームワークの最も成功したインスタンス化である。 そこで本研究では,MAEを改善するための重要な改良について紹介する。
• 参考スコア（独自算出の注目度）: 16.769855621558758
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) removes the need for annotations and makes models that are capable across more domains than supervised learning. The autoencoder SSL framework learns by reconstructing its own input after information loss through a bottleneck or noise injection. Masked autoencoders (MAE) are the most successful instantiation of this framework: they encode a random subset of patches, then decode the masked-out patches. In this work, we introduce key modifications to improve MAEs. Our method augments an image in two different ways, then masks and encodes each view separately. It then exchanges the global representations (CLS tokens) between views before decoding the masked patches. By design, our Masked Swingers encourages learning a view-agnostic summary of the image to facilitate efficient transfer. We perform extensive experiments, and find Masked Swingers outperforms MAE by +3-5% on ImageNet-1K kNN and provides large gains on fine-grained tasks, e.g., relative gains of +45% on instance retrieval, +22% on animal re-ID, and +76% on Omniglot character recognition. To boot, Swingers reduces error -64% relative to MAE on three new state-probing datasets, opening the door to world modeling. Welcome to our Swingers party.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、アノテーションの必要性を排除し、教師付き学習よりも多くのドメインで実行可能なモデルを作成する。 オートエンコーダSSLフレームワークは、ボトルネックやノイズ注入を通じて情報損失後の独自の入力を再構築することにより学習する。 マスク付きオートエンコーダ(MAE)は、パッチのランダムなサブセットをエンコードし、マスクアウトされたパッチをデコードすることで、このフレームワークの最も成功したインスタンス化である。 そこで本研究では,MAEを改善するための重要な改良について紹介する。 我々の方法は2つの異なる方法で画像を拡大し、それぞれのビューをマスクしてエンコードする。 その後、マスクされたパッチをデコードする前に、ビュー間でグローバル表現(CLSトークン)を交換する。 Masked Swingersは、画像のビューに依存しない要約を学習して、効率的な転送を容易にする。 ImageNet-1K kNNではMasked SwingersがMAEを+3-5%上回り,インスタンス検索では+45%,動物のre-IDでは+22%,Omniglot文字認識では+76%,細粒度タスクでは+3-5%上回った。 起動するために、Swingersは3つのステートプロブリングデータセットのMAEに対するエラーの64%を削減し、世界モデリングへの扉を開く。 我がスウィンガーズパーティーへようこそ。

関連論文リスト

• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [40.78236375917571]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 マルチレベル最適化マスクオートエンコーダ(MLO-MAE)は,下流タスクからのエンドツーエンドフィードバックを利用して,事前トレーニング中に最適なマスキング戦略を学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Rethinking Patch Dependence for Masked Autoencoders [89.02576415930963]
  マスク付きオートエンコーダ(MAE)のデコーダにおけるパッチ間の依存関係が表現学習に与える影響について検討する。 クロスアテンションマスク付きオートエンコーダ(CrossMAE)の簡易な視覚前訓練フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T18:49:57Z)
• Masked Autoencoders are Efficient Class Incremental Learners [64.90846899051164]
  クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。 本稿では,CIL の学習に Masked Autoencoders (MAEs) を用いることを提案する。
  論文  参考訳（メタデータ） (2023-08-24T02:49:30Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Exploring the Coordination of Frequency and Attention in Masked Image Modeling [28.418445136155512]
  Masked Image Modeling (MIM) はコンピュータビジョンにおける自己教師型学習を支配している。 本稿では,周波数・注意駆動型マスキング・スローング戦略 (FAMT) を提案する。 FAMTはプラグイン・アンド・プレイモジュールとしてシームレスに統合することができ、以前の作業を超えている。
  論文  参考訳（メタデータ） (2022-11-28T14:38:19Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。