論文の概要: ConvNets Match Vision Transformers at Scale
- arxiv url: http://arxiv.org/abs/2310.16764v1
- Date: Wed, 25 Oct 2023 16:52:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 13:31:33.908276
- Title: ConvNets Match Vision Transformers at Scale
- Title（参考訳）: ConvNetsは大規模なビジョントランスにマッチする
- Authors: Samuel L. Smith, Andrew Brock, Leonard Berrada, Soham De
- Abstract要約: 大規模なラベル付き画像データセットである JFT-4B 上で事前学習した ConvNet アーキテクチャを評価する。
我々は、0.4kから110kのTPU-v4コア計算時間の間の事前トレーニング計算予算を検討し、NFNetモデルファミリーから深度と幅を増す一連のネットワークを訓練する。
ImageNetを微調整した後、NFNetはVision Transformerのパフォーマンスを同等の計算予算で比較した。
- 参考スコア（独自算出の注目度）: 18.096735345996507
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many researchers believe that ConvNets perform well on small or moderately
sized datasets, but are not competitive with Vision Transformers when given
access to datasets on the web-scale. We challenge this belief by evaluating a
performant ConvNet architecture pre-trained on JFT-4B, a large labelled dataset
of images often used for training foundation models. We consider pre-training
compute budgets between 0.4k and 110k TPU-v4 core compute hours, and train a
series of networks of increasing depth and width from the NFNet model family.
We observe a log-log scaling law between held out loss and compute budget.
After fine-tuning on ImageNet, NFNets match the reported performance of Vision
Transformers with comparable compute budgets. Our strongest fine-tuned model
achieves a Top-1 accuracy of 90.4%.
- Abstract（参考訳）: 多くの研究者は、ConvNetは小さなまたは適度なサイズのデータセットでうまく機能すると考えているが、WebスケールでデータセットにアクセスするとVision Transformersと競合しない。
基礎モデルのトレーニングによく使用される画像のラベル付きデータセットである JFT-4B 上で事前訓練された高性能 ConvNet アーキテクチャを評価することで,この信念に挑戦する。
我々は、0.4kから110kのTPU-v4コア計算時間の間の事前トレーニング計算予算を検討し、NFNetモデルファミリーから深度と幅を増す一連のネットワークを訓練する。
保持された損失と計算予算の間のログスケーリング法を観察する。
ImageNetを微調整した後、NFNetはVision Transformerのパフォーマンスを同等の計算予算で比較した。
我々の最強の微調整モデルでは、トップ1の精度は90.4%である。
関連論文リスト
- Quasar-ViT: Hardware-Oriented Quantization-Aware Architecture Search for Vision Transformers [56.37495946212932]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、コンピュータビジョンタスクにおいて優れた精度を示す。
ハードウェア指向の量子化対応アーキテクチャ検索フレームワークであるQuasar-ViTを提案する。
論文 参考訳（メタデータ） (2024-07-25T16:35:46Z) - Learning to Generate Parameters of ConvNets for Unseen Image Data [36.68392191824203]
ConvNetは大量の画像データに依存しており、ネットワークパラメータを学習するための反復最適化アルゴリズムを採用している。
本稿では,新しい学習パラダイムを提案し,予測タスクにConvNetのパラメータ学習を定式化する。
提案手法は,2種類の画像データセットに対して有効であることを示す。
論文 参考訳（メタデータ） (2023-10-18T10:26:18Z) - Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design [84.34416126115732]
スケーリング法則は、最近、与えられた計算時間に最適なモデルサイズ(パラメータの数)を導出するために用いられる。
我々は、幅や深さなどの計算最適モデル形状を推測する手法を進化させ、改良し、視覚変換器でこれを実装した。
我々の形状最適化型視覚変換器SoViTは、同等の計算量で事前訓練されているにもかかわらず、サイズが2倍以上のモデルと競合する結果を得る。
論文 参考訳（メタデータ） (2023-05-22T13:39:28Z) - Classification of Astronomical Bodies by Efficient Layer Fine-Tuning of
Deep Neural Networks [0.0]
SDSS-IVデータセットには、銀河、星、クエーサーなどの様々な天体に関する情報が含まれている。
深層マルチモーダル学習の研究に触発されて、これらのアーキテクチャの微調整に関する研究をさらに拡張し、分類シナリオの効果について検討した。
論文 参考訳（メタデータ） (2022-05-14T20:08:19Z) - Efficient deep learning models for land cover image classification [0.29748898344267777]
土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。
コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。
提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
論文 参考訳（メタデータ） (2021-11-18T00:03:14Z) - CMT: Convolutional Neural Networks Meet Vision Transformers [68.10025999594883]
画像内の長距離依存関係をキャプチャできるため、画像認識タスクに視覚トランスフォーマーがうまく適用されている。
変圧器と既存の畳み込みニューラルネットワーク(CNN)の間には、パフォーマンスと計算コストの差がまだ残っている。
長距離依存関係をキャプチャするトランスフォーマーと、局所的な特徴をモデル化するCNNを利用して、新しいトランスフォーマーベースのハイブリッドネットワークを提案する。
特に、私たちのCMT-SはImageNetで83.5%、FLOPでは14倍、EfficientNetでは2倍の精度を実現しています。
論文 参考訳（メタデータ） (2021-07-13T17:47:19Z) - How to train your ViT? Data, Augmentation, and Regularization in Vision
Transformers [74.06040005144382]
ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。
我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。
私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
論文 参考訳（メタデータ） (2021-06-18T17:58:20Z) - Token Labeling: Training a 85.4% Top-1 Accuracy Vision Transformer with
56M Parameters on ImageNet [86.95679590801494]
ImageNet分類におけるビジョントランスフォーマーの可能性を探るため、トレーニングテクニックのバッグを開発しています。
視覚変換器の構造を微調整し,トークンラベリングを導入することで,我々のモデルはCNNよりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2021-04-22T04:43:06Z) - EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。
トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。
実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文 参考訳（メタデータ） (2021-04-01T07:08:36Z) - FastSal: a Computationally Efficient Network for Visual Saliency
Prediction [7.742198347952173]
我々は、MobileNetV2が視覚的サリエンシモデルに優れたバックボーンを作り、複雑なデコーダを使わずに有効であることを示す。
また,DeepGaze IIのような計算コストの高いモデルからの知識伝達は,ラベルのないデータセットを擬似ラベリングすることで実現できることを示す。
論文 参考訳（メタデータ） (2020-08-25T16:32:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。