論文の概要: EfficientNetV2: Smaller Models and Faster Training

• arxiv url: http://arxiv.org/abs/2104.00298v1
• Date: Thu, 1 Apr 2021 07:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:40:00.243001
• Title: EfficientNetV2: Smaller Models and Faster Training
• Title（参考訳）: EfficientNetV2: より小さなモデルと高速トレーニング
• Authors: Mingxing Tan, Quoc V. Le
• Abstract要約: 本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
• 参考スコア（独自算出の注目度）: 91.77432224225221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces EfficientNetV2, a new family of convolutional networks that have faster training speed and better parameter efficiency than previous models. To develop this family of models, we use a combination of training-aware neural architecture search and scaling, to jointly optimize training speed and parameter efficiency. The models were searched from the search space enriched with new ops such as Fused-MBConv. Our experiments show that EfficientNetV2 models train much faster than state-of-the-art models while being up to 6.8x smaller. Our training can be further sped up by progressively increasing the image size during training, but it often causes a drop in accuracy. To compensate for this accuracy drop, we propose to adaptively adjust regularization (e.g., dropout and data augmentation) as well, such that we can achieve both fast training and good accuracy. With progressive learning, our EfficientNetV2 significantly outperforms previous models on ImageNet and CIFAR/Cars/Flowers datasets. By pretraining on the same ImageNet21k, our EfficientNetV2 achieves 87.3% top-1 accuracy on ImageNet ILSVRC2012, outperforming the recent ViT by 2.0% accuracy while training 5x-11x faster using the same computing resources. Code will be available at https://github.com/google/automl/efficientnetv2.
• Abstract（参考訳）: 本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 学習速度とパラメータ効率を共同で最適化するために,学習認識型ニューラルネットワークの探索とスケーリングを組み合わせたモデルを開発した。 モデルはFused-MBConvのような新しいオペに富んだ検索空間から検索された。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。 トレーニング中に画像サイズを徐々に増やすことで、トレーニングをさらに加速することができるが、精度が低下することが多い。 この精度低下を補うために,正規化(例えば,ドロップアウトとデータ拡張)を適応的に調整し,高速なトレーニングと精度の両立を可能にすることを提案する。 プログレッシブラーニングでは、当社のEfficientNetV2は、ImageNetとCIFAR/Cars/Flowersデータセットで以前のモデルよりも大幅に優れています。 同じImageNet21kで事前トレーニングを行うことで、当社のEfficientNetV2は、ImageNet ILSVRC2012で87.3%のトップ-1の精度を達成し、最新のViTを2.0%上回り、同じコンピューティングリソースを使用して5x-11倍高速にトレーニングします。 コードはhttps://github.com/google/automl/ efficientnetv2で入手できる。

関連論文リスト

• Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment [1.9055921262476347]
  本稿では,既存のDeep Neural Network (DNN) の最適化を提案する。 精度を犠牲にすることなくモデルサイズを縮小し、トレーニング中のメモリ使用量を削減できるXceptionの効率的なパラメータ削減戦略を実装した。
  論文  参考訳（メタデータ） (2024-03-14T19:40:58Z)
• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness with Dataset Reinforcement [68.44100784364987]
  本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。 ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。 ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
  論文  参考訳（メタデータ） (2023-03-15T23:10:17Z)
• ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders [104.05133094625137]
  完全畳み込み型マスク付きオートエンコーダフレームワークと,新たなグローバル応答正規化層を提案する。 この自己教師付き学習技術とアーキテクチャ改善の共設計により、純粋なConvNetの性能を大幅に向上させるConvNeXt V2と呼ばれる新しいモデルファミリが生まれる。
  論文  参考訳（メタデータ） (2023-01-02T18:59:31Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• High-Performance Large-Scale Image Recognition Without Normalization [34.58818094675353]
  バッチ正規化は、ほとんどの画像分類モデルのキーコンポーネントであるが、多くの望ましくない性質を持っている。 我々は,これらの不安定性を克服する適応的勾配クリッピング手法を開発し,より優れた正規化自由レスネットのクラスを設計する。 大規模事前トレーニング後のImageNetの微調整では,バッチ正規化よりも大幅に性能が向上した。
  論文  参考訳（メタデータ） (2021-02-11T18:23:20Z)
• Training EfficientNets at Supercomputer Scale: 83% ImageNet Top-1 Accuracy in One Hour [38.89981855438478]
  本稿では,2048コアのTPU-v3ポッド上でのEfficientNetsのトレーニングをスケールアップする手法を提案する。 ImageNet上でEfficientNetを1時間4分で83%の精度でトレーニングすることができます。
  論文  参考訳（メタデータ） (2020-10-30T19:27:11Z)
• TResNet: High Performance GPU-Dedicated Architecture [6.654949459658242]
  近年開発された多くのディープラーニングモデルは、FLOPS数が少なく、ResNet50よりもImageNetの精度が高い。 本稿では、GPUトレーニングと推論効率を維持しながら、ニューラルネットワークの精度を高めることを目的としたアーキテクチャ修正のシリーズを紹介する。 我々は、従来のConvNetよりも精度と効率を向上する、TResNetと呼ばれるGPU専用モデルの新しいファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-03-30T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。