論文の概要: Modality-Agnostic Self-Supervised Learning with Meta-Learned Masked Auto-Encoder

• arxiv url: http://arxiv.org/abs/2310.16318v1
• Date: Wed, 25 Oct 2023 03:03:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 17:07:35.733086
• Title: Modality-Agnostic Self-Supervised Learning with Meta-Learned Masked Auto-Encoder
• Title（参考訳）: メタ学習型マスクオートエンコーダによるモダリティ非依存型自己教師付き学習
• Authors: Huiwon Jang, Jihoon Tack, Daewon Choi, Jongheon Jeong, Jinwoo Shin
• Abstract要約: 我々はMasked Auto-Encoder (MAE) を統一されたモダリティに依存しないSSLフレームワークとして開発する。 メタラーニングは,MAEをモダリティに依存しない学習者として解釈する鍵として論じる。 本実験は,Modality-Agnostic SSLベンチマークにおけるMetaMAEの優位性を示す。
• 参考スコア（独自算出の注目度）: 61.7834263332332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite its practical importance across a wide range of modalities, recent advances in self-supervised learning (SSL) have been primarily focused on a few well-curated domains, e.g., vision and language, often relying on their domain-specific knowledge. For example, Masked Auto-Encoder (MAE) has become one of the popular architectures in these domains, but less has explored its potential in other modalities. In this paper, we develop MAE as a unified, modality-agnostic SSL framework. In turn, we argue meta-learning as a key to interpreting MAE as a modality-agnostic learner, and propose enhancements to MAE from the motivation to jointly improve its SSL across diverse modalities, coined MetaMAE as a result. Our key idea is to view the mask reconstruction of MAE as a meta-learning task: masked tokens are predicted by adapting the Transformer meta-learner through the amortization of unmasked tokens. Based on this novel interpretation, we propose to integrate two advanced meta-learning techniques. First, we adapt the amortized latent of the Transformer encoder using gradient-based meta-learning to enhance the reconstruction. Then, we maximize the alignment between amortized and adapted latents through task contrastive learning which guides the Transformer encoder to better encode the task-specific knowledge. Our experiment demonstrates the superiority of MetaMAE in the modality-agnostic SSL benchmark (called DABS), significantly outperforming prior baselines. Code is available at https://github.com/alinlab/MetaMAE.
• Abstract（参考訳）: 幅広いモダリティにおいて実践的な重要性があるにもかかわらず、近年の自己教師付き学習(SSL)の進歩は、視覚や言語など、ドメイン固有の知識に頼っているいくつかのよく訓練された領域に主に焦点を当てている。 例えば、Masked Auto-Encoder (MAE) はこれらのドメインで一般的なアーキテクチャの1つとなっているが、他のモダリティではその可能性を探求していない。 本稿では,統一型モダリティに依存しないSSLフレームワークとしてMAEを開発した。 そこで我々は,MAEをモダリティに依存しない学習者と解釈する鍵としてメタラーニングを論じ,様々なモダリティにまたがるSSLを共同で改善する動機から,MAEの強化を提案する。 我々のキーとなる考え方は、MAEのマスク再構築をメタラーニングタスクとして見ることである: マスク付きトークンは、未マスクトークンの暗黙化を通じてトランスフォーマーメタラーナーを適応させることによって予測される。 この新しい解釈に基づき, 2つの高度なメタ学習手法を統合することを提案する。 まず, グラデーションに基づくメタラーニングを用いて, トランスコーダの償却潜時を適応させ, 復元性を高める。 そこで我々は,Transformerエンコーダを指導するタスクコントラスト学習により,暗黙化と適応された潜伏者のアライメントを最大化する。 実験では,モダリティに依存しないSSLベンチマーク(DABS)におけるMetaMAEの優位性を実証した。 コードはhttps://github.com/alinlab/MetaMAEで入手できる。

関連論文リスト

• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• Meta-learning Spiking Neural Networks with Surrogate Gradient Descent [1.90365714903665]
  メタ学習のような二段階学習は、制限を克服するためにディープラーニングでますます使われている。 我々は,MAMLを用いたSNNのメタトレーニングが,イベントベースメタデータ上でMAMLでトレーニングされた従来のANNのパフォーマンスを上回ることを示す。 本研究では,メタラーニング技術が,実世界の問題にニューロモルフィック学習技術の展開にどのように役立つかを強調した。
  論文  参考訳（メタデータ） (2022-01-26T06:53:46Z)
• Online Meta Adaptation for Variable-Rate Learned Image Compression [40.8361915315201]
  この研究は、ディープニューラルネットワークに基づくエンドツーエンドの学習画像圧縮(lic)の2つの大きな問題に対処する。 我々は,条件付き変分自動エンコーダフレームワークにおけるメタラーニングとオンラインラーニングのアイデアを組み合わせた,licのオンラインメタラーニング(OML)設定を導入する。
  論文  参考訳（メタデータ） (2021-11-16T06:46:23Z)
• Bootstrapped Meta-Learning [48.017607959109924]
  本稿では,メタ学習者が自らを教えることによって,メタ最適化問題に挑戦するアルゴリズムを提案する。 アルゴリズムはまずメタラーナーからターゲットをブートストラップし、選択した(擬似)測度の下でそのターゲットまでの距離を最小化することでメタラーナーを最適化する。 我々は、Atari ALEベンチマークでモデルフリーエージェントの新たな最先端技術を実現し、数ショットの学習においてMAMLを改善し、我々のアプローチがいかに新しい可能性を開くかを実証する。
  論文  参考訳（メタデータ） (2021-09-09T18:29:05Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。