論文の概要: Investigating Transfer Learning Capabilities of Vision Transformers and
CNNs by Fine-Tuning a Single Trainable Block
- arxiv url: http://arxiv.org/abs/2110.05270v1
- Date: Mon, 11 Oct 2021 13:43:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 16:04:52.126732
- Title: Investigating Transfer Learning Capabilities of Vision Transformers and
CNNs by Fine-Tuning a Single Trainable Block
- Title（参考訳）: 単一調律ブロックの微調整による視覚トランスフォーマーとcnnの伝達学習能力の検討
- Authors: Durvesh Malpure, Onkar Litake, Rajesh Ingle
- Abstract要約: トランスフォーマーベースのアーキテクチャは、CNNアーキテクチャによる最先端のセットを精度で上回っているが、スクラッチからトレーニングするには計算コストが非常に高い。
転送学習能力について検討し、CNNと比較し、小型データを用いた実世界の問題に適用した場合に、どのアーキテクチャが優れているかを理解する。
変換器をベースとしたアーキテクチャは,CNNよりも高い精度を実現するだけでなく,パラメータの約4倍の精度で実現している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent developments in the field of Computer Vision, a rise is seen in the
use of transformer-based architectures. They are surpassing the
state-of-the-art set by CNN architectures in accuracy but on the other hand,
they are computationally very expensive to train from scratch. As these models
are quite recent in the Computer Vision field, there is a need to study it's
transfer learning capabilities and compare it with CNNs so that we can
understand which architecture is better when applied to real world problems
with small data. In this work, we follow a simple yet restrictive method for
fine-tuning both CNN and Transformer models pretrained on ImageNet1K on
CIFAR-10 and compare them with each other. We only unfreeze the last
transformer/encoder or last convolutional block of a model and freeze all the
layers before it while adding a simple MLP at the end for classification. This
simple modification lets us use the raw learned weights of both these neural
networks. From our experiments, we find out that transformers-based
architectures not only achieve higher accuracy than CNNs but some transformers
even achieve this feat with around 4 times lesser number of parameters.
- Abstract（参考訳）: 近年のコンピュータビジョンの分野では、トランスフォーマーベースのアーキテクチャの利用が増加している。
彼らはCNNアーキテクチャによる最先端のセットを精度で上回っているが、一方、スクラッチからトレーニングするには計算コストが非常に高い。
これらのモデルはコンピュータビジョン分野において非常に最近のものであるため、伝達学習能力について研究し、CNNと比較する必要がある。
本研究では,CIFAR-10上のImageNet1Kで事前訓練されたCNNモデルとTransformerモデルの両方を微調整し,比較する。
最後のトランスフォーマー/エンコーダやモデルの最後の畳み込みブロックを解凍し、その前にすべての層を凍結し、最後に単純なmlpを追加して分類します。
この単純な修正によって、両方のニューラルネットワークの生の学習重みが利用できます。
実験の結果, トランスフォーマーに基づくアーキテクチャがCNNよりも高い精度を達成するだけでなく, パラメータの約4倍の精度で達成できることが判明した。
関連論文リスト
- OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。
本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。
この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
論文 参考訳（メタデータ） (2024-03-21T14:06:38Z) - The Counterattack of CNNs in Self-Supervised Learning: Larger Kernel
Size might be All You Need [103.31261028244782]
視覚変換器は、その卓越したスケーリングトレンドのおかげで、コンピュータビジョンにおいて急速に蜂起し、畳み込みニューラルネットワーク(CNN)を徐々に置き換えている。
自己教師付き学習(SSL)に関する最近の研究は、サイムズ事前学習タスクを導入している。
SSLの文脈では、トランスフォーマーやセルフアテンションモジュールは本質的にCNNよりも適していると考えるようになった。
論文 参考訳（メタデータ） (2023-12-09T22:23:57Z) - Transfer Learning for Microstructure Segmentation with CS-UNet: A Hybrid
Algorithm with Transformer and CNN Encoders [0.2353157426758003]
顕微鏡画像上で事前学習したTransformerモデルとCNNモデルのセグメンテーション性能を、自然画像上で事前学習したモデルと比較する。
また,画像セグメンテーションにおいて,事前学習したトランスフォーマーとCNNエンコーダの組み合わせは,事前学習したCNNエンコーダ単独よりも一貫して優れていることがわかった。
論文 参考訳（メタデータ） (2023-08-26T16:56:15Z) - Semi-Supervised Vision Transformers [76.83020291497895]
半教師付き画像分類のための視覚変換器の訓練について検討する。
半教師付き ImageNet 設定では,ビジョントランスフォーマーの性能が良くない。
CNNは小さなラベル付きデータ構造において優れた結果を得る。
論文 参考訳（メタデータ） (2021-11-22T09:28:13Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳（メタデータ） (2021-08-30T06:09:02Z) - Scaling Vision Transformers [82.08465256393514]
本研究では,Vision Transformerがエラー率,データ,計算の関係をスケールし,特徴付ける方法について検討する。
我々は20億のパラメータを持つViTモデルをトレーニングし、ImageNetの90.45%のトップ-1の精度で新たな最先端技術を実現する。
このモデルは、例えば、ImageNetで84.86%のトップ-1の精度を達成し、1クラスにつき10のサンプルしか持たないような、数ショット学習でもうまく機能する。
論文 参考訳（メタデータ） (2021-06-08T17:47:39Z) - Self-Supervised Learning with Swin Transformers [24.956637957269926]
ビジョントランスフォーマーをバックボーンアーキテクチャとして,MoBYと呼ばれる自己監視型学習アプローチを提案する。
このアプローチには基本的に新しい発明がなく、MoCo v2とBYOLを組み合わせている。
パフォーマンスは、DeiTをバックボーンとして採用しているMoCo v3とDINOの最近の作品よりもわずかに優れていますが、はるかに軽いトリックがあります。
論文 参考訳（メタデータ） (2021-05-10T17:59:45Z) - Token Labeling: Training a 85.4% Top-1 Accuracy Vision Transformer with
56M Parameters on ImageNet [86.95679590801494]
ImageNet分類におけるビジョントランスフォーマーの可能性を探るため、トレーニングテクニックのバッグを開発しています。
視覚変換器の構造を微調整し,トークンラベリングを導入することで,我々のモデルはCNNよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-04-22T04:43:06Z) - Escaping the Big Data Paradigm with Compact Transformers [7.697698018200631]
適切なサイズとトークン化によって、トランスフォーマは小さなデータセット上で最先端のcnnで頭対頭で実行できることを初めて示す。
本手法はモデルサイズで柔軟であり,0.28Mのパラメータしか持たず,妥当な結果が得られる。
論文 参考訳（メタデータ） (2021-04-12T17:58:56Z) - A Neural Few-Shot Text Classification Reality Check [4.689945062721168]
いくつかのニューラルな数発の分類モデルが出現し、時間とともに大きな進歩をもたらした。
本稿では,これらのモデルを全て比較し,まず画像処理分野のモデルをNLPに適応させ,次にトランスにアクセスできるようにした。
次に,多数のクラスを持つことで知られるインテント検出タスクにおいて,同じトランスフォーマーベースのエンコーダを備えたモデルをテストする。
論文 参考訳（メタデータ） (2021-01-28T15:46:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。