論文の概要: When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations

• arxiv url: http://arxiv.org/abs/2106.01548v1
• Date: Thu, 3 Jun 2021 02:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:26:49.496517
• Title: When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations
• Title（参考訳）: ビジョントランスフォーマーが事前トレーニングや強力なデータ拡張なしでResNetのパフォーマンスを向上する
• Authors: Xiangning Chen, Cho-Jui Hsieh, Boqing Gong
• Abstract要約: Vision Transformer (ViTs) と既存のVisionNetsは、ハンドワイヤ機能やインダクティブスループットを汎用神経アーキテクチャに置き換えようとしている。 本稿では、損失幾何学のレンズからViTとRes-Mixersを解析し、トレーニングおよび推論時のモデルのデータ効率を改善することを目的とする。 最初の数層では、スペーサー活動ニューロンの頑健性が改善していることが示されている。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNet上でスクラッチからトレーニングした時に、同様のサイズと滑らかさのネットより優れています。
• 参考スコア（独自算出の注目度）: 111.44860506703307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) and MLPs signal further efforts on replacing hand-wired features or inductive biases with general-purpose neural architectures. Existing works empower the models by massive data, such as large-scale pretraining and/or repeated strong data augmentations, and still report optimization-related problems (e.g., sensitivity to initialization and learning rate). Hence, this paper investigates ViTs and MLP-Mixers from the lens of loss geometry, intending to improve the models' data efficiency at training and generalization at inference. Visualization and Hessian reveal extremely sharp local minima of converged models. By promoting smoothness with a recently proposed sharpness-aware optimizer, we substantially improve the accuracy and robustness of ViTs and MLP-Mixers on various tasks spanning supervised, adversarial, contrastive, and transfer learning (e.g., +5.3\% and +11.0\% top-1 accuracy on ImageNet for ViT-B/16 and Mixer-B/16, respectively, with the simple Inception-style preprocessing). We show that the improved smoothness attributes to sparser active neurons in the first few layers. The resultant ViTs outperform ResNets of similar size and throughput when trained from scratch on ImageNet without large-scale pretraining or strong data augmentations. They also possess more perceptive attention maps.
• Abstract（参考訳）: Vision Transformer (ViTs) と MLP は、手で配線された特徴や帰納的バイアスを汎用神経アーキテクチャに置き換えるためのさらなる努力を示している。 既存の作業は、大規模な事前訓練や/または強いデータ拡張のような大規模なデータによってモデルを強化し、最適化に関連する問題(初期化に対する感受性や学習率など)を報告している。 そこで本研究では,モデルの学習におけるデータ効率の向上と推論の一般化を目的として,損失幾何レンズからのvitsとmlpミキサーについて検討する。 可視化とヘッセンは収束モデルの極端にシャープな局所ミニマを明らかにする。 近年提案されているシャープネス・アウェア・オプティマイザによるスムース性向上により,教師付き,敵対的,コントラスト的,転送学習(例えば,vit-b/16とmixer-b/16のimagenet上の+5.3\%と+11.0\% top-1精度)にまたがる様々なタスクにおけるvitsとmlp-mixerの精度とロバスト性が大幅に向上した。 その結果,最初の数層におけるsparser活性ニューロンに対するスムース性が向上した。 その結果、ViTsは、大規模な事前トレーニングや強力なデータ拡張なしに、ImageNetでスクラッチからトレーニングした時に、同様のサイズとスループットでResNetsを上回った。 また、より知覚的なアテンションマップも持っている。

関連論文リスト

• HSViT: Horizontally Scalable Vision Transformer [16.46308352393693]
  Vision Transformer (ViT) は大規模データセットの事前トレーニングが必要であり、パフォーマンスが向上する。 本稿では,新しい水平方向拡張型ビジョントランス (HSViT) 方式を提案する。 HSViTは、小さなデータセットの最先端スキームよりも最大10%高いトップ1精度を達成する。
  論文  参考訳（メタデータ） (2024-04-08T04:53:29Z)
• How to Train Vision Transformer on Small-scale Datasets? [4.56717163175988]
  畳み込みニューラルネットワークとは対照的に、Vision Transformerには固有の帰納バイアスがない。 自己教師付き帰納バイアスは,小規模データセットから直接学習可能であることを示す。 これにより、大規模な事前トレーニングやモデルアーキテクチャの変更、損失関数を必要とせずに、これらのモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-10-13T17:59:19Z)
• Where are my Neighbors? Exploiting Patches Relations in Self-Supervised Vision Transformer [3.158346511479111]
  視覚変換器(ViT)を訓練するための簡易かつ効果的な自己教師付き学習(SSL)戦略を提案する。 我々は、ダウンストリームトレーニングの前後で、モデルが解決しなければならないイメージパッチの関係に基づいてSSLタスクのセットを定義する。 我々のRelViTモデルは、画像パッチに関連するトランスフォーマーエンコーダの出力トークンをすべて最適化し、トレーニングステップ毎により多くのトレーニング信号を利用する。
  論文  参考訳（メタデータ） (2022-06-01T13:25:32Z)
• Improving Vision Transformers by Revisiting High-frequency Components [106.7140968644414]
  視覚変換器(ViT)モデルは,CNNモデルよりも画像の高周波成分の捕捉に効果が低いことを示す。 本稿では,画像の高周波成分を直接補うHATを提案する。 HAT は様々な ViT モデルの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-03T05:16:51Z)
• Bootstrapping ViTs: Towards Liberating Vision Transformers from Pre-training [29.20567759071523]
  ビジョントランスフォーマー(ViT)は急速に発展し、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)の支配に挑戦し始めている。 本稿では,上位境界のネットワークアーキテクチャを保ちながら,CNNのインダクティブバイアスをViTに戻す。 CIFAR-10/100 と ImageNet-1k の限られたトレーニングデータによる実験は、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-07T07:56:50Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [74.06040005144382]
  ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。 我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。 私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-06-18T17:58:20Z)
• Scaling Vision Transformers [82.08465256393514]
  本研究では,Vision Transformerがエラー率,データ,計算の関係をスケールし,特徴付ける方法について検討する。 我々は20億のパラメータを持つViTモデルをトレーニングし、ImageNetの90.45%のトップ-1の精度で新たな最先端技術を実現する。 このモデルは、例えば、ImageNetで84.86%のトップ-1の精度を達成し、1クラスにつき10のサンプルしか持たないような、数ショット学習でもうまく機能する。
  論文  参考訳（メタデータ） (2021-06-08T17:47:39Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。