論文の概要: Self-Guided Masked Autoencoder

• arxiv url: http://arxiv.org/abs/2507.19773v1
• Date: Sat, 26 Jul 2025 03:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.17563
• Title: Self-Guided Masked Autoencoder
• Title（参考訳）: 自己ガイド型マスク付きオートエンコーダ
• Authors: Jeongwoo Shin, Inseo Lee, Junho Lee, Joonseok Lee,
• Abstract要約: Masked Autoencoder (MAE) は表現学習のための自己教師型アプローチである。 パッチクラスタリングの進展を利用して内部的に情報マスクを生成する自己誘導マスク自動エンコーダを提案する。
• 参考スコア（独自算出の注目度）: 16.96990728780005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked Autoencoder (MAE) is a self-supervised approach for representation learning, widely applicable to a variety of downstream tasks in computer vision. In spite of its success, it is still not fully uncovered what and how MAE exactly learns. In this paper, with an in-depth analysis, we discover that MAE intrinsically learns pattern-based patch-level clustering from surprisingly early stages of pretraining. Upon this understanding, we propose self-guided masked autoencoder, which internally generates informed mask by utilizing its progress in patch clustering, substituting the naive random masking of the vanilla MAE. Our approach significantly boosts its learning process without relying on any external models or supplementary information, keeping the benefit of self-supervised nature of MAE intact. Comprehensive experiments on various downstream tasks verify the effectiveness of the proposed method.
• Abstract（参考訳）: Masked Autoencoder (MAE) は、コンピュータビジョンにおける様々な下流タスクに適用可能な、表現学習のための自己教師型アプローチである。 その成功にもかかわらず、MAEが正確に何を、どのように学習するかは、まだ完全には明らかになっていない。 そこで本研究では,MAEがパターンベースのパッチレベルのクラスタリングを,驚くほど早期の事前学習から本質的に学習することを発見した。 そこで本研究では,バニラMAEのランダムマスキングに代えて,パッチクラスタリングの進展を利用して内部的にインフォメーションマスクを生成する自己誘導マスク自動エンコーダを提案する。 本手法は,外部モデルや補足情報に頼らずに学習プロセスを著しく向上させ,MAEの自己管理的特性のメリットをそのまま維持する。 様々な下流タスクに関する総合的な実験により,提案手法の有効性が検証された。

関連論文リスト

• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [40.78236375917571]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 マルチレベル最適化マスクオートエンコーダ(MLO-MAE)は,下流タスクからのエンドツーエンドフィードバックを利用して,事前トレーニング中に最適なマスキング戦略を学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning [58.93724285214628]
  本稿では、完全にドメインに依存しないマスク付きモデリング手法である自己誘導マスク付きオートエンコーダ(SMA)を提案する。 SMAは、マスクを学習し、ドメイン固有の仮定なしでサンプリングすることで、マスクモデリングの目的を用いて注意に基づくモデルを訓練する。 本研究では,タンパク質生物学,化学特性予測,粒子物理の3つの自己教師型学習ベンチマークでSMAを評価した。
  論文  参考訳（メタデータ） (2024-02-22T18:46:22Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders [7.133110402648305]
  本研究では,自己教師型学習の動作予測への応用について検討する。 Forecast-MAEは、モーション予測タスクの自己教師型学習用に特別に設計されたマスクオートエンコーダフレームワークの拡張である。
  論文  参考訳（メタデータ） (2023-08-19T02:27:51Z)
• Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
  マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。 本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。 実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2023-03-12T05:28:55Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• Exploring Target Representations for Masked Autoencoders [78.57196600585462]
  目的表現の注意深い選択は、よい表現を学ぶために不要であることを示す。 本研究では,多段階のマスク蒸留パイプラインを提案し,無作為なモデルを教師として利用する。 自己指導型自己指導法を非自明なマージンで上回り, 自己指導型教員(dBOT)によるマスク付き知識蒸留を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-09-08T16:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。