論文の概要: The hidden advantage of mask resampling: a theory of masked autoencoders

• arxiv url: http://arxiv.org/abs/2610.01578v1
• Date: Thu, 01 Oct 2026 12:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.115195
• Title: The hidden advantage of mask resampling: a theory of masked autoencoders
• Title（参考訳）: マスク再サンプリングの隠れた利点--マスク付きオートエンコーダの理論
• Abstract要約: 仮面の予測は、仮面の復元が失敗する有用な表現を学習する。 マスク付きリニア再構築は,未成熟リニア再構築が失敗するレジームにおいて,リニア・サンプルの複雑さで潜伏した特徴を回復できることを実証する。
• 参考スコア（独自算出の注目度）: 14.798212142764946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Why can masked prediction learn useful representations that unmasked reconstruction misses? We study this question in a high-dimensional model of a masked autoencoder (MAE) trained on data with shared latent structure and heterogeneous noise. We prove that masked linear reconstruction can recover the latent feature at linear sample complexity in regimes where unmasked linear reconstruction, equivalent to PCA, fails. The analysis also quantifies the statistical advantage of mask resampling, an established ingredient of masked pretraining. By introducing a fixed collection of $K$ masks per sample, we characterize its effect on feature recovery and downstream performance, identifying regimes where greater mask diversity lowers sample complexity. Guided by this prediction, we find that random cropping and flipping in standard image-training pipelines can obscure the advantage of mask resampling by renewing the prediction task even when the patch mask is fixed. Removing these transformations reveals a downstream advantage for dynamic over static masking in CNN autoencoders and vision transformers. A complementary BERT pilot finds benefits from greater mask diversity on downstream language tasks. Our results separate the benefit of the masked prediction objective from that of mask diversity, and show how a tractable theory can guide experiments that uncover advantages hidden by standard training practices.
• Abstract（参考訳）: なぜマスク付き予測は、復元に失敗する有用な表現を学習できるのか? 本研究では, マスク付きオートエンコーダ (MAE) の高次元モデルを用いて, 共振器構造と異種雑音を用いたデータを用いた実験を行った。 マスク付き線形再構成は,PCAと同等の非マスク型線形再構成が失敗する状況下で,潜伏した特徴を線形サンプリング複雑性で回復できることを証明した。 この分析は、マスクプリトレーニングの確立された要素であるマスクリサンプリングの統計的利点を定量化する。 1サンプルあたりのK$マスクの固定コレクションを導入することで、機能回復とダウンストリームのパフォーマンスへの影響を特徴づけ、マスクの多様性が増すとサンプルの複雑さが低下する状況を特定する。 この予測により、パッチマスクが固定された場合でも、予測タスクを更新することにより、標準的なイメージトレーニングパイプラインにおけるランダムなトリミングとフリップがマスク再サンプリングの利点を曖昧にすることができることがわかった。 これらの変換を除去すると、CNNオートエンコーダとビジョントランスフォーマーの静的マスキングよりもダイナミックなダウンストリームの利点が明らかになる。 補完的なBERTパイロットは、下流言語タスクにおけるマスクの多様性のメリットを享受する。 本研究は,マスクによる予測目標の利点とマスクの多様性の利益を分離し,標準的な訓練実践によって隠された利点を明らかにする実験を,トラクタブル理論がいかにガイドできるかを示すものである。

関連論文リスト

• A Random Matrix Theory of Masked Self-Supervised Regression [16.836043197411378]
  実験では,様々なマスキングパターンにまたがって予測を集約し,行列値の合同予測を行う。 このオブジェクトは、互いに条件をコーディネートする方法を符号化し、新しい分析課題を生じさせる。 マスクされた自己教師型学習がPCAを確実に上回る構造的体制を同定する。
  論文  参考訳（メタデータ） (2026-01-30T17:32:33Z)
• Two-Step Data Augmentation for Masked Face Detection and Recognition: Turning Fake Masks to Real [5.1215389305751735]
  本稿では,ルールベースのマスクワープとGANを用いた画像間変換を併用した2段階の生成データ拡張フレームワークを提案する。 ルールベースのワープのみと比較して、提案手法は一貫性のある質的改善をもたらす。 我々は,非マスク損失保存とノイズ注入を導入し,トレーニングを安定させ,サンプルの多様性を高める。
  論文  参考訳（メタデータ） (2025-12-13T15:20:08Z)
• Dual form Complementary Masking for Domain-Adaptive Image Segmentation [44.81357028765057]
  マスク付き再構築を直接メイントレーニングパイプラインに統合するフレームワークであるMaskTwinsを提案する。 MaskTwinsは、補完的な方法で隠蔽された画像の予測間の一貫性を強制することによって、異なるドメイン間で持続する固有の構造パターンを明らかにする。 これらの結果は、個別の事前学習を必要とせず、ドメイン不変な特徴を抽出する上で、MaskTwinsの重大な利点を示している。
  論文  参考訳（メタデータ） (2025-07-16T08:05:22Z)
• Mask-Adapter: The Devil is in the Masks for Open-Vocabulary Segmentation [38.39055930100405]
  オープン語彙セグメンテーションにおいてこれらの課題に対処するための単純かつ効果的な手法であるMask-Adapterを導入する。 提案手法では,提案マスクを直接使用するのに対し,提案マスクから意味的アクティベーションマップを抽出する。 いくつかのゼロショットベンチマークに対する大規模な実験は、提案されたMask-Adapterの性能向上を示す。
  論文  参考訳（メタデータ） (2024-12-05T17:42:37Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Learning to Mask and Permute Visual Tokens for Vision Transformer Pre-Training [55.12082817901671]
  我々はMasked and Permuted Vision Transformer(MaPeT)という自己教師型事前学習手法を提案する。 MaPeTは、自動回帰および置換予測を使用して、パッチ内依存関係をキャプチャする。 以上の結果から,MaPeTはベースラインやコンペティターと同一のモデル設定で比較して,ImageNet上での競合性能を実証した。
  論文  参考訳（メタデータ） (2023-06-12T18:12:19Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Adaptive Shrink-Mask for Text Detection [91.34459257409104]
  既存のリアルタイムテキスト検出器は、ストリップマスクによってテキストの輪郭を直接再構築する。 予測された収縮マスクへの依存は不安定な検出結果をもたらす。 スーパーピクセルウィンドウ (SPW) はネットワークを監督するように設計されている。
  論文  参考訳（メタデータ） (2021-11-18T07:38:57Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。