論文の概要: Understanding Masked Autoencoders via Hierarchical Latent Variable Models

• arxiv url: http://arxiv.org/abs/2306.04898v1
• Date: Thu, 8 Jun 2023 03:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 16:32:18.960121
• Title: Understanding Masked Autoencoders via Hierarchical Latent Variable Models
• Title（参考訳）: 階層的潜在変数モデルによるマスクオートエンコーダの理解
• Authors: Lingjing Kong, Martin Q. Ma, Guangyi Chen, Eric P. Xing, Yuejie Chi, Louis-Philippe Morency, Kun Zhang
• Abstract要約: Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
• 参考スコア（独自算出の注目度）: 109.35382136147349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked autoencoder (MAE), a simple and effective self-supervised learning framework based on the reconstruction of masked image regions, has recently achieved prominent success in a variety of vision tasks. Despite the emergence of intriguing empirical observations on MAE, a theoretically principled understanding is still lacking. In this work, we formally characterize and justify existing empirical insights and provide theoretical guarantees of MAE. We formulate the underlying data-generating process as a hierarchical latent variable model and show that under reasonable assumptions, MAE provably identifies a set of latent variables in the hierarchical model, explaining why MAE can extract high-level information from pixels. Further, we show how key hyperparameters in MAE (the masking ratio and the patch size) determine which true latent variables to be recovered, therefore influencing the level of semantic information in the representation. Specifically, extremely large or small masking ratios inevitably lead to low-level representations. Our theory offers coherent explanations of existing empirical observations and provides insights for potential empirical improvements and fundamental limitations of the masking-reconstruction paradigm. We conduct extensive experiments to validate our theoretical insights.
• Abstract（参考訳）: Masked Autoencoder (MAE)は、マスクされた画像領域の再構成に基づくシンプルで効果的な自己教師付き学習フレームワークであり、近年、様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠けている。 本研究では,既存の経験的洞察を形式的に特徴づけ,正当化し,MAEの理論的保証を提供する。 階層型潜在変数モデルとして基礎となるデータ生成プロセスを定式化し、合理的な仮定により、MAEは階層型モデルの潜在変数の集合を確実に特定し、なぜMAEがピクセルから高レベル情報を抽出できるかを説明する。 さらに、MAEのキーハイパーパラメータ(マスキング比とパッチサイズ)がどの真の潜伏変数を復元するかを判断し、表現における意味情報のレベルに影響を与えることを示す。 特に、非常に大きいか小さいマスキング比は必然的に低レベルの表現をもたらす。 本理論は,既存の経験的観察のコヒーレントな説明を提供し,マスキング・リコンストラクションパラダイムの潜在的な経験的改善と基本的な限界についての洞察を提供する。 理論的な洞察を検証するための広範な実験を行う。

関連論文リスト

• The Mechanics of Conceptual Interpretation in GPT Models: Interpretative Insights [10.777646083061395]
  本稿では,大規模言語モデルにおける概念化機構を明らかにする知識編集の革新的バリエーションである概念編集を紹介する。 我々は、トランスモデルのマルチ層パーセプトロン(MLP)、マルチヘッドアテンション(MHA)、および隠れ状態成分を解析する。 我々の研究は、LLMにおける複雑な階層化されたセマンティック処理の性質と、これらのモデルにおける特定の概念の分離と修正の課題を強調している。
  論文  参考訳（メタデータ） (2024-08-05T18:50:08Z)
• Exploring Concept Depth: How Large Language Models Acquire Knowledge at Different Layers? [57.04803703952721]
  大規模言語モデル(LLM)は、幅広いタスクで顕著なパフォーマンスを示している。 しかし、これらのモデルが様々な複雑さのタスクを符号化するメカニズムは、いまだに理解されていない。 我々は、より複雑な概念が一般的により深い層で取得されることを示すために、概念深さの概念を紹介します。
  論文  参考訳（メタデータ） (2024-04-10T14:56:40Z)
• Masked Modeling for Self-supervised Representation Learning on Vision and Beyond [69.64364187449773]
  仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。 マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。 我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
  論文  参考訳（メタデータ） (2023-12-31T12:03:21Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• i-MAE: Are Latent Representations in Masked Autoencoders Linearly Separable? [26.146459754995597]
  マスク付き画像モデリング(MIM)は視覚領域における自己監督型事前学習の強力なアプローチとして認識されている。 本稿では,表現能力を高めるために,インタラクティブなMasked Autoencoders (i-MAE) フレームワークを提案する。 潜在表現の特徴を質的に解析することに加えて,線形分離性の存在と潜在空間における意味論の程度について検討する。
  論文  参考訳（メタデータ） (2022-10-20T17:59:54Z)
• How Mask Matters: Towards Theoretical Understandings of Masked Autoencoders [21.849681446573257]
  再構成タスクに基づくマスケ自動エンコーダ(MAE)は、自己教師型学習(SSL)の有望なパラダイムになってきた。 本稿では,MAEが意味のある特徴を学習する上で,マスキングがいかに重要であるかを理論的に理解する。
  論文  参考訳（メタデータ） (2022-10-15T17:36:03Z)
• How to Understand Masked Autoencoders [15.775716869623992]
  Masked Autoencoders (MAE) の数学的理解を提供する統一理論フレームワークを提案する。 具体的には、重複しないドメイン分解設定の下で、積分カーネルを用いたMAEのパッチベースのアテンションアプローチを説明する。 研究コミュニティがMAEの大成功の主な理由をさらに理解するために,我々の枠組みに基づいて5つの疑問を提起し,演算子理論からの洞察を用いて数学的厳密さに答える。
  論文  参考訳（メタデータ） (2022-02-08T06:15:07Z)
• MAML and ANIL Provably Learn Representations [60.17417686153103]
  我々は,MAMLとANILという2つの有名なメタ学習手法が,与えられたタスク群間の共通表現を学習可能であることを証明した。 具体的には、よく知られたマルチタスク線形表現学習環境では、指数関数的に高速な速度で接地トラス表現を復元することができる。 解析の結果,MAMLとANILがベースとなる表現を回復させる駆動力は,モデルの最終層に適応していることが判明した。
  論文  参考訳（メタデータ） (2022-02-07T19:43:02Z)
• Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
  マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。 広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-01-28T13:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。