論文の概要: Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks

• arxiv url: http://arxiv.org/abs/2311.18587v2
• Date: Fri, 1 Dec 2023 02:51:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 11:45:49.184169
• Title: Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks
• Title（参考訳）: 連続16ビットトレーニング:32ビット事前学習ニューラルネットワークの高速化
• Authors: Juyoung Yun
• Abstract要約: 本研究では,既存の32ビットモデルのトレーニングを16ビット精度で継続する手法を提案する。 進行中のトレーニングに16ビットの精度を採用することで、メモリ要件と計算負荷を大幅に削減できる。 実験により,本手法は,元の32ビットトレーニングによって設定された高精度な精度を維持しつつ,学習速度を向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In the field of deep learning, the prevalence of models initially trained with 32-bit precision is a testament to its robustness and accuracy. However, the continuous evolution of these models often demands further training, which can be resource-intensive. This study introduces a novel approach where we continue the training of these pre-existing 32-bit models using 16-bit precision. This technique not only caters to the need for efficiency in computational resources but also significantly improves the speed of additional training phases. By adopting 16-bit precision for ongoing training, we are able to substantially decrease memory requirements and computational burden, thereby accelerating the training process in a resource-limited setting. Our experiments show that this method maintains the high standards of accuracy set by the original 32-bit training while providing a much-needed boost in training speed. This approach is especially pertinent in today's context, where most models are initially trained in 32-bit and require periodic updates and refinements. The findings from our research suggest that this strategy of 16-bit continuation training can be a key solution for sustainable and efficient deep learning, offering a practical way to enhance pre-trained models rapidly and in a resource-conscious manner.
• Abstract（参考訳）: ディープラーニングの分野では、32ビット精度で訓練されたモデルの正しさは、その堅牢性と精度の証明である。 しかしながら、これらのモデルの継続的な進化は、しばしばリソース集約的なさらなるトレーニングを必要とする。 本研究では,既存の32ビットモデルのトレーニングを16ビット精度で継続する手法を提案する。 この技術は、計算資源の効率性の必要性に対処するだけでなく、追加のトレーニングフェーズの速度を大幅に改善する。 継続するトレーニングに16ビット精度を採用することで、メモリ要求と計算負荷を大幅に削減でき、リソース制限された設定でトレーニングプロセスを高速化できる。 実験により,本手法は32ビットトレーニングで設定された高い精度を維持しつつ,訓練速度の大幅な向上が期待できることを示した。 このアプローチは、今日のコンテキストにおいて特に重要であり、ほとんどのモデルは当初32ビットでトレーニングされ、定期的な更新と改良を必要とする。 本研究は,16ビット継続学習のこの戦略が,持続的かつ効率的な深層学習の鍵となるソリューションになり得ることを示唆する。

関連論文リスト

• Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
  本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。 我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
  論文  参考訳（メタデータ） (2024-01-12T21:32:04Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Standalone 16-bit Training: Missing Study for Hardware-Limited Deep Learning Practitioners [2.075190620803526]
  混合精度技術は、モデルトレーニングと推論の間に異なる数値精度を活用し、資源利用を最適化する。 リソースが限られている多くの人にとって、利用可能なオプションは32ビット、16ビット、または2つの組み合わせに限られている。 この研究は重要なギャップを埋め、スタンドアロンの16ビット精度のニューラルネットワークが32ビットと混合精度の精度で一致したことを初めて証明した。
  論文  参考訳（メタデータ） (2023-05-18T13:09:45Z)
• Top-Tuning: a study on transfer learning for an efficient alternative to fine tuning for image classification with fast kernel methods [12.325059377851485]
  本稿では,事前学習した畳み込み特徴を高速なカーネル手法の入力として活用する,簡単なトランスファー学習手法を提案する。 トップチューニングアプローチは,1～2桁のトレーニング時間を桁違いに小さくすることで,微調整に対して同等の精度を提供することを示す。
  論文  参考訳（メタデータ） (2022-09-16T13:46:59Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Revisiting BFloat16 Training [30.99618783594963]
  最先端の汎用的低精度トレーニングアルゴリズムでは、16ビットと32ビットの精度が混在している。 ディープラーニングアクセラレータは、16ビットと32ビットの浮動小数点ユニットの両方をサポートせざるを得ない。
  論文  参考訳（メタデータ） (2020-10-13T05:38:07Z)
• Multi-Precision Policy Enforced Training (MuPPET): A precision-switching strategy for quantised fixed-point training of CNNs [13.83645579871775]
  大規模な畳み込みニューラルネットワーク(CNN)は、数時間から数週間にわたる非常に長いトレーニング時間に悩まされる。 この研究は、複数の精度を利用するマルチレベルアプローチを採用することで、定量化トレーニングの境界を押し上げる。 MuPPETは、トレーニング時のスピードアップを最大1.84$times$、ネットワーク全体の平均スピードアップを1.58$times$とすることで、通常の完全精度トレーニングと同じ精度を達成する。
  論文  参考訳（メタデータ） (2020-06-16T10:14:36Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。