論文の概要: Longer-range Contextualized Masked Autoencoder

• arxiv url: http://arxiv.org/abs/2310.13593v1
• Date: Fri, 20 Oct 2023 15:42:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 22:03:02.654554
• Title: Longer-range Contextualized Masked Autoencoder
• Title（参考訳）: 長距離コンテキスト化マスク自動エンコーダ
• Authors: Taekyung Kim, Sanghyuk Chun, Byeongho Heo, Dongyoon Han
• Abstract要約: Masked Image Modeling (MIM)は、有望な自己教師型学習(SSL)戦略として登場した。 我々はLonger-range Conized Masked Autoencoder (LC-MAE)という自己教師型学習フレームワークを提案する。 本手法は,複数ビューで全画素から学習すると同時に,スパース画素から局所表現を学習する。
• 参考スコア（独自算出の注目度）: 43.42706719923587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked image modeling (MIM) has emerged as a promising self-supervised learning (SSL) strategy. The MIM pre-training facilitates learning powerful representations using an encoder-decoder framework by randomly masking some input pixels and reconstructing the masked pixels from the remaining ones. However, as the encoder is trained with partial pixels, the MIM pre-training can suffer from a low capability of understanding long-range dependency. This limitation may hinder its capability to fully understand multiple-range dependencies, resulting in narrow highlighted regions in the attention map that may incur accuracy drops. To mitigate the limitation, We propose a self-supervised learning framework, named Longer-range Contextualized Masked Autoencoder (LC-MAE). LC-MAE effectively leverages a global context understanding of visual representations while simultaneously reducing the spatial redundancy of input at the same time. Our method steers the encoder to learn from entire pixels in multiple views while also learning local representation from sparse pixels. As a result, LC-MAE learns more discriminative representations, leading to a performance improvement of achieving 84.2% top-1 accuracy with ViT-B on ImageNet-1K with 0.6%p gain. We attribute the success to the enhanced pre-training method, as evidenced by the singular value spectrum and attention analyses. Finally, LC-MAE achieves significant performance gains at the downstream semantic segmentation and fine-grained visual classification tasks; and on diverse robust evaluation metrics. Our code will be publicly available.
• Abstract（参考訳）: Masked Image Modeling (MIM)は、有望な自己教師型学習(SSL)戦略として登場した。 MIMプリトレーニングは、いくつかの入力ピクセルをランダムにマスキングし、残りのピクセルからマスクされたピクセルを再構成することにより、エンコーダデコーダフレームワークを使用して強力な表現の学習を容易にする。 しかし、エンコーダは部分画素で訓練されるため、MIM事前学習は長距離依存を理解する能力が低い。 この制限は、複数の範囲の依存関係を完全に理解する能力を妨げる可能性があるため、注意マップ内の狭い強調領域が精度低下を引き起こす可能性がある。 この制限を軽減するために,Longer-range Contextualized Masked Autoencoder (LC-MAE) という自己教師型学習フレームワークを提案する。 LC-MAEは、視覚表現のグローバルなコンテキスト理解を効果的に活用し、同時に入力の空間的冗長性を低減します。 本手法は,複数ビューで全画素から学習すると同時に,スパース画素から局所表現を学習する。 その結果、LC-MAEはより差別的な表現を学習し、画像Net-1K上のVT-Bで84.2%のトップ-1の精度を達成する性能が0.6%向上した。 特異値スペクトルと注意分析によって証明されるように,改良事前学習法の成功を特徴付ける。 最後に、LC-MAEは、下流セマンティックセマンティックセグメンテーションときめ細かい視覚的分類タスク、および多様なロバストな評価指標において、大幅な性能向上を達成する。 私たちのコードは公開されます。

関連論文リスト

• Enhancing Vision-Language Model with Unmasked Token Alignment [37.12838142681491]
  本稿では,既存のCLIPモデルを利用して視覚言語表現をさらに強化する手法であるUnmasked Token Alignment (UTA)を紹介する。 UTAは、ViTモデルとCLIPテキストエンコーダを自動的に整列する凍結されたCLIPビジョンエンコーダから、未マッピングの視覚トークンを対応する画像トークンに整列させることで、ViT(Vit)を訓練する。
  論文  参考訳（メタデータ） (2024-05-29T11:48:17Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Tokenize Anything via Prompting [65.93061853439512]
  我々は,任意のものを同時にセグメンテーションし,認識し,キャプションすることができる統一的,迅速なモデルを提案する。 我々は、50億のパラメータを持つ事前学習されたCLIPモデルから、巨大なセグメンテーションマスク、eg、SA-1Bマスク、セマンティックプリミティブを持つ一般化可能なモデルをトレーニングする。 我々は,このモデルが汎用領域コンテキストを符号化できる汎用領域レベルの画像トークン化器であると考えている。
  論文  参考訳（メタデータ） (2023-12-14T17:01:02Z)
• Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
  クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。 視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。 提案手法は, 事前学習法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-11-20T12:10:53Z)
• AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders [44.87786478095987]
  Masked Autoencodersは、画像、テキスト、オーディオ、ビデオなどの一般的な表現を、可視データのトークンからマスクされた入力データによって学習する。 本稿では,エンド・ツー・エンドのトレーニングが可能なMAEに対する適応型マスキング戦略を提案する。 AdaMAEは補助サンプリングネットワークを用いて意味的コンテキストに基づいて可視トークンをサンプリングする。
  論文  参考訳（メタデータ） (2022-11-16T18:59:48Z)
• Beyond Masking: Demystifying Token-Based Pre-Training for Vision Transformers [122.01591448013977]
  Masked Image Modeling (MIM) は下流タスクにおいて有望な結果を示した。 本稿では,欠落した内容を回復して学習する効果的な方法があるかどうかを考察する。 我々は、トークンベースのビジョントランスフォーマーの事前トレーニングに関するいくつかの設計原則を要約する。 この設計は、余分な計算コストを伴わない一連の下流認識タスクにおいて、MIMよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-27T14:23:29Z)
• What to Hide from Your Students: Attention-Guided Masked Image Modeling [32.402567373491834]
  画像トークンマスキングは、テキストのトークンマスキングと根本的に異なる。 注意誘導マスキング(AttMask)と呼ばれる新しいマスキング戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-23T20:52:50Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。