論文の概要: i-MAE: Are Latent Representations in Masked Autoencoders Linearly Separable?

• arxiv url: http://arxiv.org/abs/2210.11470v2
• Date: Mon, 8 Apr 2024 22:01:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:55:40.641826
• Title: i-MAE: Are Latent Representations in Masked Autoencoders Linearly Separable?
• Title（参考訳）: i-MAE: マスクオートエンコーダの潜在表現は線形分離可能か?
• Authors: Kevin Zhang, Zhiqiang Shen,
• Abstract要約: マスク付き画像モデリング(MIM)は視覚領域における自己監督型事前学習の強力なアプローチとして認識されている。 本稿では,表現能力を高めるために,インタラクティブなMasked Autoencoders (i-MAE) フレームワークを提案する。 潜在表現の特徴を質的に解析することに加えて,線形分離性の存在と潜在空間における意味論の程度について検討する。
• 参考スコア（独自算出の注目度）: 26.146459754995597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked image modeling (MIM) has been recognized as a strong self-supervised pre-training approach in the vision domain. However, the mechanism and properties of the learned representations by such a scheme, as well as how to further enhance the representations are so far not well-explored. In this paper, we aim to explore an interactive Masked Autoencoders (i-MAE) framework to enhance the representation capability from two aspects: (1) employing a two-way image reconstruction and a latent feature reconstruction with distillation loss to learn better features; (2) proposing a semantics-enhanced sampling strategy to boost the learned semantics in MAE. Upon the proposed i-MAE architecture, we can address two critical questions to explore the behaviors of the learned representations in MAE: (1) Whether the separability of latent representations in Masked Autoencoders is helpful for model performance? We study it by forcing the input as a mixture of two images instead of one. (2) Whether we can enhance the representations in the latent feature space by controlling the degree of semantics during sampling on Masked Autoencoders? To this end, we propose a sampling strategy within a mini-batch based on the semantics of training samples to examine this aspect. Extensive experiments are conducted on CIFAR-10/100, Tiny-ImageNet and ImageNet-1K to verify the observations we discovered. Furthermore, in addition to qualitatively analyzing the characteristics of the latent representations, we examine the existence of linear separability and the degree of semantics in the latent space by proposing two evaluation schemes. The surprising and consistent results demonstrate that i-MAE is a superior framework design for understanding MAE frameworks, as well as achieving better representational ability. Code is available at https://github.com/vision-learning-acceleration-lab/i-mae.
• Abstract（参考訳）: マスク付き画像モデリング(MIM)は視覚領域における自己監督型事前学習の強力なアプローチとして認識されている。 しかし、そのようなスキームによる学習された表現のメカニズムと性質、および表現をさらに強化する方法は、今のところ十分に解明されていない。 本稿では,2つの側面から表現能力を高めるための対話型マスクオートエンコーダ (i-MAE) フレームワークを検討することを目的とする。(1) 双方向画像再構成と,(2) 蒸留損失を伴う潜在特徴再構成を用いて,より良い特徴を学習すること,(2) セマンティクス強化のためのセマンティクス強化サンプリング戦略を提案する。 提案したi-MAEアーキテクチャでは,Masked Autoencodersにおける潜在表現の分離性はモデル性能に有用か? 入力を1つではなく2つの画像の混合として強制的に研究する。 2)マスケオートエンコーダのサンプリング中に意味論の程度を制御して潜在特徴空間の表現を拡張できるか。 そこで本研究では,トレーニングサンプルのセマンティクスに基づくミニバッチ内のサンプリング戦略を提案し,その側面について検討する。 CIFAR-10/100、Tiny-ImageNet、ImageNet-1Kで大規模な実験を行い、我々が発見した観測を検証した。 さらに,潜在表現の特徴を質的に解析することに加えて,2つの評価スキームを提案することにより,潜在空間における線形分離性と意味論の程度について検討する。 意外で一貫した結果は、i-MAEがMAEフレームワークを理解するための優れたフレームワーク設計であり、表現能力の向上を図っている。 コードはhttps://github.com/vision-learning-acceleration-lab/i-maeで入手できる。

関連論文リスト

• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• SemanticMIM: Marring Masked Image Modeling with Semantics Compression for General Visual Representation [13.013776924941205]
  SemanticMIMは、一般的な視覚表現のためのマスク付き画像モデリング(MIM)とコントラスト学習(CL)の利点を統合するためのフレームワークである。 我々はCLとMIMの徹底的な比較分析を行い、それらの相補的優位性は2つの相、すなわち圧縮と再構成から生じることを明らかにした。 我々は,SemanticMIMがCLとMIMの利点を効果的に実現し,性能と特徴線形分離性を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-06-15T15:39:32Z)
• Self-Supervised Learning for Visual Relationship Detection through Masked Bounding Box Reconstruction [6.798515070856465]
  表現学習のための新しい自己教師型アプローチ,特に視覚的関係検出(VRD)の課題について述べる。 Masked Image Modeling (MIM) の有効性を活かして, Masked bounding Box Reconstruction (MBBR) を提案する。
  論文  参考訳（メタデータ） (2023-11-08T16:59:26Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• R-MAE: Regions Meet Masked Autoencoders [113.73147144125385]
  我々は、自己教師付き画像表現学習のための単語の潜在的な視覚的類似として領域を探索する。 生成前トレーニングベースラインであるMasked Autoencoding (MAE) に触発されて, 画素群や領域群から学習するためのマスク付き領域オートエンコーディングを提案する。
  論文  参考訳（メタデータ） (2023-06-08T17:56:46Z)
• SemMAE: Semantic-Guided Masking for Learning Masked Autoencoders [24.73294590182861]
  Masked Autoencoding (MAE) は視覚と言語の違いである。 NLPの言葉とは異なり、画像の意味的な分解の欠如は、依然として視覚と言語の間にMAEを異なるものにしている。 意味情報をMAEの学習プロセスに統合するセマンティックガイド型マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2022-06-21T09:08:32Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• Semantic Representation and Dependency Learning for Multi-Label Image Recognition [76.52120002993728]
  本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。 具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。 また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
  論文  参考訳（メタデータ） (2022-04-08T00:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。