論文の概要: ViT-P: Rethinking Data-efficient Vision Transformers from Locality

• arxiv url: http://arxiv.org/abs/2203.02358v1
• Date: Fri, 4 Mar 2022 14:49:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 15:52:56.149026
• Title: ViT-P: Rethinking Data-efficient Vision Transformers from Locality
• Title（参考訳）: ViT-P:データ効率のよい視覚変換器を地域性から再考
• Authors: Bin Chen, Ran Wang, Di Ming and Xin Feng
• Abstract要約: 我々は多焦点アテンションバイアスを導入することにより、畳み込みニューラルネットワークのようなデータ効率を向上する。 十分に訓練されたViTの注意距離にインスパイアされ、我々はViTの自己注意をマルチスケールの局所受容野に制限する。 Cifar100では、私たちのViT-P Baseモデルは、ゼロからトレーニングされた最先端の精度(83.16%)を達成する。
• 参考スコア（独自算出の注目度）: 9.515925867530262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances of Transformers have brought new trust to computer vision tasks. However, on small dataset, Transformers is hard to train and has lower performance than convolutional neural networks. We make vision transformers as data-efficient as convolutional neural networks by introducing multi-focal attention bias. Inspired by the attention distance in a well-trained ViT, we constrain the self-attention of ViT to have multi-scale localized receptive field. The size of receptive field is adaptable during training so that optimal configuration can be learned. We provide empirical evidence that proper constrain of receptive field can reduce the amount of training data for vision transformers. On Cifar100, our ViT-P Base model achieves the state-of-the-art accuracy (83.16%) trained from scratch. We also perform analysis on ImageNet to show our method does not lose accuracy on large data sets.
• Abstract（参考訳）: 最近のトランスフォーマーの進歩は、コンピュータビジョンタスクに新たな信頼をもたらした。 しかし、小さなデータセットでは、Transformerはトレーニングが困難で、畳み込みニューラルネットワークよりもパフォーマンスが低い。 マルチ焦点注意バイアスを導入することで,畳み込みニューラルネットワークのようなデータ効率の高い視覚トランスフォーマーを実現する。 十分に訓練されたViTの注意距離にインスパイアされ、我々はViTの自己注意をマルチスケールの局所受容野に制限する。 受容野のサイズはトレーニング中に適応可能であり、最適な構成が学べる。 視覚変換器のトレーニングデータの量を減らすことができるという実証的な証拠を提供する。 Cifar100では、私たちのViT-P Baseモデルは、ゼロからトレーニングされた最先端の精度(83.16%)を達成する。 また,この手法が大規模データセットの精度を損なわないことを示すために,ImageNetで解析を行う。

関連論文リスト

• Explicitly Increasing Input Information Density for Vision Transformers on Small Datasets [26.257612622358614]
  ビジョントランスフォーマーはビジョンタスクにおけるビジョントランスフォーマー(ViT)の実装が成功して以来、近年多くの注目を集めている。 本稿では,周波数領域における入力情報密度を明示的に向上することを提案する。 5つの小規模データセットに対して提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-10-25T20:24:53Z)
• How to Train Vision Transformer on Small-scale Datasets? [4.56717163175988]
  畳み込みニューラルネットワークとは対照的に、Vision Transformerには固有の帰納バイアスがない。 自己教師付き帰納バイアスは,小規模データセットから直接学習可能であることを示す。 これにより、大規模な事前トレーニングやモデルアーキテクチャの変更、損失関数を必要とせずに、これらのモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-10-13T17:59:19Z)
• Vicinity Vision Transformer [53.43198716947792]
  線形複雑度を有する視覚変換器に局所性バイアスを導入するビシニティ注意法を提案する。 提案手法は,従来の手法よりも50%少ないパラメータで,最先端の画像分類精度を実現する。
  論文  参考訳（メタデータ） (2022-06-21T17:33:53Z)
• Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer [3.158346511479111]
  視覚変換器(ViT)を訓練するための簡易かつ効果的な自己教師付き学習(SSL)戦略を提案する。 我々は、ダウンストリームトレーニングの前後で、モデルが解決しなければならないイメージパッチの関係に基づいてSSLタスクのセットを定義する。 我々のRelViTモデルは、画像パッチに関連するトランスフォーマーエンコーダの出力トークンをすべて最適化し、トレーニングステップ毎により多くのトレーニング信号を利用する。
  論文  参考訳（メタデータ） (2022-06-01T13:25:32Z)
• Training Vision Transformers with Only 2040 Images [35.86457465241119]
  視覚変換器(ViT)は、視覚認識のための畳み込みニューラルネットワーク(CNN)の代替として登場した。 本手法は他の手法よりも優れているという理論的解析を行い,特徴のアライメントとインスタンスの類似性の両方を捉えることができる。 様々なViTバックボーンの下で7つの小さなデータセットをスクラッチからトレーニングすると、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-01-26T03:22:08Z)
• Semi-Supervised Vision Transformers [76.83020291497895]
  半教師付き画像分類のための視覚変換器の訓練について検討する。 半教師付き ImageNet 設定では,ビジョントランスフォーマーの性能が良くない。 CNNは小さなラベル付きデータ構造において優れた結果を得る。
  論文  参考訳（メタデータ） (2021-11-22T09:28:13Z)
• Can Vision Transformers Perform Convolution? [78.42076260340869]
  画像パッチを入力とする単一のViT層が任意の畳み込み操作を構成的に実行可能であることを示す。 我々は、CNNを表現するビジョントランスフォーマーのヘッド数を低くする。
  論文  参考訳（メタデータ） (2021-11-02T03:30:17Z)
• ConvNets vs. Transformers: Whose Visual Representations are More Transferable? [49.62201738334348]
  本研究では,15個のシングルタスクおよびマルチタスク性能評価において,ConvNetと視覚変換器の伝達学習能力について検討する。 13の下流タスクでTransformerベースのバックボーンの一貫性のあるアドバンテージを観察した。
  論文  参考訳（メタデータ） (2021-08-11T16:20:38Z)
• How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [74.06040005144382]
  ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。 我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。 私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-06-18T17:58:20Z)
• Self-Supervised Learning with Swin Transformers [24.956637957269926]
  ビジョントランスフォーマーをバックボーンアーキテクチャとして,MoBYと呼ばれる自己監視型学習アプローチを提案する。 このアプローチには基本的に新しい発明がなく、MoCo v2とBYOLを組み合わせている。 パフォーマンスは、DeiTをバックボーンとして採用しているMoCo v3とDINOの最近の作品よりもわずかに優れていますが、はるかに軽いトリックがあります。
  論文  参考訳（メタデータ） (2021-05-10T17:59:45Z)
• Token Labeling: Training a 85.4% Top-1 Accuracy Vision Transformer with 56M Parameters on ImageNet [86.95679590801494]
  ImageNet分類におけるビジョントランスフォーマーの可能性を探るため、トレーニングテクニックのバッグを開発しています。 視覚変換器の構造を微調整し,トークンラベリングを導入することで,我々のモデルはCNNよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-22T04:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。