論文の概要: Observation, Analysis, and Solution: Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training

• arxiv url: http://arxiv.org/abs/2404.12210v1
• Date: Thu, 18 Apr 2024 14:14:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:21:51.182295
• Title: Observation, Analysis, and Solution: Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training
• Title（参考訳）: 観察・解析・解法:マズード画像モデリングによる強力な軽量視覚変換器の探索
• Authors: Jin Gao, Shubo Lin, Shaoru Wang, Yutong Kou, Zeming Li, Liang Li, Congxuan Zhang, Xiaoqin Zhang, Yizheng Wang, Weiming Hu,
• Abstract要約: コンピュータビジョンにおける大規模な視覚変換器(ViT)のためのマスク付き画像モデリング(MIM)の事前トレーニングにより、学習された自己教師付きVT機能に加えて、下流のパフォーマンスが期待できる。 本稿では,ごく単純なViTの小型アーキテクチャによる微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。
• 参考スコア（独自算出の注目度）: 51.622652121580394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked image modeling (MIM) pre-training for large-scale vision transformers (ViTs) in computer vision has enabled promising downstream performance on top of the learned self-supervised ViT features. In this paper, we question if the extremely simple ViTs' fine-tuning performance with a small-scale architecture can also benefit from this pre-training paradigm, which is considerably less studied yet in contrast to the well-established lightweight architecture design methodology with sophisticated components introduced. By carefully adapting various typical MIM pre-training methods to this lightweight regime and comparing them with the contrastive learning (CL) pre-training on various downstream image classification and dense prediction tasks, we systematically observe different behaviors between MIM and CL with respect to the downstream fine-tuning data scales. Furthermore, we analyze the frozen features under linear probing evaluation and also the layer representation similarities and attention maps across the obtained models, which clearly show the inferior learning of MIM pre-training on higher layers, leading to unsatisfactory fine-tuning performance on data-insufficient downstream tasks. This finding is naturally a guide to choosing appropriate distillation strategies during pre-training to solve the above deterioration problem. Extensive experiments on various vision tasks demonstrate the effectiveness of our observation-analysis-solution flow. In particular, our pre-training with distillation on pure lightweight ViTs with vanilla/hierarchical design (5.7M/6.5M) can achieve 79.4%/78.9% top-1 accuracy on ImageNet-1K. It also enables SOTA performance on the ADE20K semantic segmentation task (42.8% mIoU) and LaSOT visual tracking task (66.1% AUC) in the lightweight regime. The latter even surpasses all the current SOTA lightweight CPU-realtime trackers.
• Abstract（参考訳）: コンピュータビジョンにおける大規模な視覚変換器(ViT)のためのマスク付き画像モデリング(MIM)の事前トレーニングにより、学習された自己教師付きVT機能に加えて、下流のパフォーマンスが期待できる。 本稿では,比較的単純なViTの小型アーキテクチャによる微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを疑問視する。 様々なMIM事前学習手法をこの軽量なシステムに慎重に適用し、それらを様々な下流画像分類と高密度予測タスクに基づくコントラスト学習(CL)と比較することにより、下流の微調整データスケールに関して、MIMとCLの異なる挙動を体系的に観察する。 さらに, 線形探索評価による凍結特徴と, 得られたモデル間の層表現類似性および注意マップを解析し, 上位層でのMIM事前学習の劣悪な学習を明らかに示し, データ不足な下流タスクにおける微調整性能の低下を招いた。 この発見は, 上述の劣化問題を解決するために, 事前学習中に適切な蒸留方法を選択するためのガイドとなる。 様々な視覚課題に対する広範囲な実験は、我々の観察・分析・溶解流の有効性を実証している。 特に,Vanilla/hierarchical design (5.7M/6.5M) を用いた純軽量ViTの蒸留による事前トレーニングでは,ImageNet-1Kで79.4%/78.9%の精度が得られる。 ADE20Kセマンティックセグメンテーションタスク (42.8% mIoU) とLaSOTビジュアルトラッキングタスク (66.1% AUC) の軽量なシステムでのSOTAパフォーマンスも実現している。 後者は、現在のSOTA軽量CPUリアルタイムトラッカーを全て上回っている。

関連論文リスト

• How Effective is Pre-training of Large Masked Autoencoders for Downstream Earth Observation Tasks? [9.515532265294187]
  自己教師付き事前訓練は多くのコンピュータビジョンタスクに非常に効果的であることが証明されている。 事前訓練されたモデルがスクラッチからトレーニングするよりも大きなアドバンテージを提供する条件は、まだ不明である。
  論文  参考訳（メタデータ） (2024-09-27T08:15:14Z)
• ExPLoRA: Parameter-Efficient Extended Pre-Training to Adapt Vision Transformers under Domain Shifts [52.1635661239108]
  本稿では,事前学習された視覚変換器(ViT)のドメインシフト下での伝達学習を改善するために,ExPLoRAを提案する。 我々の実験は、衛星画像の最先端の成果を実証し、完全な事前学習や微調整のViTよりも優れています。
  論文  参考訳（メタデータ） (2024-06-16T15:14:56Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• Instruction Tuned Models are Quick Learners [20.771930945083994]
  そこで本研究では,各種タスクにおける指導調律モデルのサンプル効率について述べる。 STL設定では、下流列車データの25%を備えた指導調律モデルが下流タスクのSOTA性能を上回っている。 MTL設定では、下流のトレーニングデータの6%しか訓練されていない指導調律モデルがSOTAを達成する一方で、100%のトレーニングデータを使用することで3.69%の改善が達成される。
  論文  参考訳（メタデータ） (2023-05-17T22:30:01Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• TinyMIM: An Empirical Study of Distilling MIM Pre-trained Models [31.16595289223858]
  マスク付き画像モデリング(MIM)は、事前学習大型視覚変換器(ViT)に強く貢献する しかし、現実世界のアプリケーションにとって重要な小さなモデルは、この事前学習アプローチの恩恵を受けることはできない。 我々は,MIMをベースとした大規模プレトレーニングモデルの成功を,より小さなモデルに伝達する蒸留技術について検討する。
  論文  参考訳（メタデータ） (2023-01-03T18:59:54Z)
• Q-ViT: Accurate and Fully Quantized Low-bit Vision Transformer [56.87383229709899]
  我々は、完全量子化視覚変換器(Q-ViT)のための情報修正モジュール(IRM)と分配誘導蒸留法を開発した。 我々の手法は、先行技術よりもはるかに優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-13T04:00:29Z)
• A Closer Look at Self-Supervised Lightweight Vision Transformers [44.44888945683147]
  大規模視覚変換器(ViT)の自己教師型学習を事前学習法として実現した。 画像分類タスクと下流密度予測タスクに関する自己教師付き事前学習手法のベンチマークを行った。 バニラ・ライトウェイトなViTでさえ、デリケートなアーキテクチャ設計を持つ以前のSOTAネットワークに匹敵する性能を示している。
  論文  参考訳（メタデータ） (2022-05-28T14:14:57Z)
• When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [111.44860506703307]
  Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。 本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。 最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
  論文  参考訳（メタデータ） (2021-06-03T02:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。