論文の概要: Training EfficientNets at Supercomputer Scale: 83% ImageNet Top-1 Accuracy in One Hour

• arxiv url: http://arxiv.org/abs/2011.00071v2
• Date: Thu, 5 Nov 2020 02:17:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 16:35:47.713652
• Title: Training EfficientNets at Supercomputer Scale: 83% ImageNet Top-1 Accuracy in One Hour
• Title（参考訳）: スーパーコンピュータスケールでの学習効率:83% ImageNet Top-1の精度
• Authors: Arissa Wongpanich, Hieu Pham, James Demmel, Mingxing Tan, Quoc Le, Yang You, Sameer Kumar
• Abstract要約: 本稿では,2048コアのTPU-v3ポッド上でのEfficientNetsのトレーニングをスケールアップする手法を提案する。 ImageNet上でEfficientNetを1時間4分で83%の精度でトレーニングすることができます。
• 参考スコア（独自算出の注目度）: 38.89981855438478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: EfficientNets are a family of state-of-the-art image classification models based on efficiently scaled convolutional neural networks. Currently, EfficientNets can take on the order of days to train; for example, training an EfficientNet-B0 model takes 23 hours on a Cloud TPU v2-8 node. In this paper, we explore techniques to scale up the training of EfficientNets on TPU-v3 Pods with 2048 cores, motivated by speedups that can be achieved when training at such scales. We discuss optimizations required to scale training to a batch size of 65536 on 1024 TPU-v3 cores, such as selecting large batch optimizers and learning rate schedules as well as utilizing distributed evaluation and batch normalization techniques. Additionally, we present timing and performance benchmarks for EfficientNet models trained on the ImageNet dataset in order to analyze the behavior of EfficientNets at scale. With our optimizations, we are able to train EfficientNet on ImageNet to an accuracy of 83% in 1 hour and 4 minutes.
• Abstract（参考訳）: efficientnetsは、効率的にスケールされた畳み込みニューラルネットワークに基づく最先端の画像分類モデルである。 例えば、EfficientNet-B0モデルのトレーニングには、クラウドTPU v2-8ノードで23時間を要する。 本稿では,2048コアのTPU-v3 Pod上でのEfficientNetsのトレーニングを高速化する手法について検討する。 大規模バッチオプティマイザの選択や学習率のスケジュール,分散評価とバッチ正規化手法の活用など,1024 tpu-v3コア上でのバッチサイズ65536へのスケールアップに必要な最適化について検討する。 さらに,ImageNetデータセットでトレーニングしたEfficientNetモデルのタイミングと性能のベンチマークを行い,大規模に効率的なNetの挙動を解析する。 最適化により、1時間4分で83%の精度でImageNet上でEfficientNetをトレーニングすることができます。

関連論文リスト

• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet Level [7.410940271545853]
  我々は、Hebbian学習のための効率的でスケーラブルなソリューションであるFastHebbを紹介する。 FastHebbはトレーニングのスピードで、これまでのソリューションを最大50倍のパフォーマンスで上回っている。 私たちは初めて、HebbianアルゴリズムをImageNetスケールに持ち込むことができます。
  論文  参考訳（メタデータ） (2022-07-07T09:04:55Z)
• Optimization Planning for 3D ConvNets [123.43419144051703]
  3次元畳み込みニューラルネットワーク(3D ConvNets)を最適に学習するのは簡単ではない。 パスを一連のトレーニング“状態”に分解し、各状態におけるハイパーパラメータ、例えば学習率と入力クリップの長さを指定する。 我々は全ての候補状態に対して動的プログラミングを行い、最適な状態の置換、すなわち最適化経路を計画する。
  論文  参考訳（メタデータ） (2022-01-11T16:13:31Z)
• Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
  本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。 実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
  論文  参考訳（メタデータ） (2021-04-30T14:20:51Z)
• EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
  本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。 トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。 実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T07:08:36Z)
• TResNet: High Performance GPU-Dedicated Architecture [6.654949459658242]
  近年開発された多くのディープラーニングモデルは、FLOPS数が少なく、ResNet50よりもImageNetの精度が高い。 本稿では、GPUトレーニングと推論効率を維持しながら、ニューラルネットワークの精度を高めることを目的としたアーキテクチャ修正のシリーズを紹介する。 我々は、従来のConvNetよりも精度と効率を向上する、TResNetと呼ばれるGPU専用モデルの新しいファミリーを紹介する。
  論文  参考訳（メタデータ） (2020-03-30T17:04:47Z)
• Fixing the train-test resolution discrepancy: FixEfficientNet [98.64315617109344]
  本稿では,複数のトレーニング手順を用いて,効率的なNet画像分類器の性能解析を行う。 FixEfficientNetと呼ばれる結果のネットワークは、同じ数のパラメータで初期アーキテクチャを著しく上回る。
  論文  参考訳（メタデータ） (2020-03-18T14:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。