論文の概要: Standalone 16-bit Training: Missing Study for Hardware-Limited Deep Learning Practitioners

• arxiv url: http://arxiv.org/abs/2305.10947v3
• Date: Fri, 11 Oct 2024 00:47:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:30:14.137623
• Title: Standalone 16-bit Training: Missing Study for Hardware-Limited Deep Learning Practitioners
• Title（参考訳）: スタンドアロン16ビットトレーニング:ハードウェア限定型ディープラーニング実践者のための欠席学習
• Authors: Juyoung Yun, Sol Choi, Francois Rameau, Byungkon Kang, Zhoulai Fu,
• Abstract要約: 混合精度技術は、モデルトレーニングと推論の間に異なる数値精度を活用し、資源利用を最適化する。 リソースが限られている多くの人にとって、利用可能なオプションは32ビット、16ビット、または2つの組み合わせに限られている。 この研究は重要なギャップを埋め、スタンドアロンの16ビット精度のニューラルネットワークが32ビットと混合精度の精度で一致したことを初めて証明した。
• 参考スコア（独自算出の注目度）: 2.075190620803526
• License:
• Abstract: With the increasing complexity of machine learning models, managing computational resources like memory and processing power has become a critical concern. Mixed precision techniques, which leverage different numerical precisions during model training and inference to optimize resource usage, have been widely adopted. However, access to hardware that supports lower precision formats (e.g., FP8 or FP4) remains limited, especially for practitioners with hardware constraints. For many with limited resources, the available options are restricted to using 32-bit, 16-bit, or a combination of the two. While it is commonly believed that 16-bit precision can achieve results comparable to full (32-bit) precision, this study is the first to systematically validate this assumption through both rigorous theoretical analysis and extensive empirical evaluation. Our theoretical formalization of floating-point errors and classification tolerance provides new insights into the conditions under which 16-bit precision can approximate 32-bit results. This study fills a critical gap, proving for the first time that standalone 16-bit precision neural networks match 32-bit and mixed-precision in accuracy while boosting computational speed. Given the widespread availability of 16-bit across GPUs, these findings are especially valuable for machine learning practitioners with limited hardware resources to make informed decisions.
• Abstract（参考訳）: 機械学習モデルの複雑さが増すにつれ、メモリや処理能力といった計算資源の管理が重要な問題となっている。 モデルトレーニングと推論の間に異なる数値精度を活用して資源利用を最適化する混合精度技術が広く採用されている。 しかし、低い精度のフォーマット(例えば、FP8やFP4)をサポートするハードウェアへのアクセスは制限されている。 リソースが限られている多くの人にとって、利用可能なオプションは32ビット、16ビット、または2つの組み合わせに限られている。 16ビット精度は完全な(32ビット)精度に匹敵する結果が得られると一般的に信じられているが、この研究は厳密な理論分析と広範な経験的評価によって、この仮定を体系的に検証した最初のものである。 浮動小数点誤差と分類許容度の理論的定式化は、16ビットの精度で32ビットの精度を近似できる条件に対する新たな洞察を与える。 この研究は重要なギャップを埋め、スタンドアロンの16ビット精度のニューラルネットワークが32ビットと混合精度の精度で一致し、計算速度が向上したことを初めて証明した。 GPUにまたがって16ビットが広く利用可能であることを考えると、これらの発見は特に、ハードウェアリソースが限られている機械学習の実践者にとって、決定を下す上で価値がある。

関連論文リスト

• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  我々は,学術ベンチマークや実世界のタスクにまたがる一般的な量子化形式を評価する。 W4A16は同期デプロイメントと中間層アーキテクチャの非同期デプロイメントに最適なコスト効率を提供する。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks [0.0]
  本研究では,既存の32ビットモデルのトレーニングを16ビット精度で継続する手法を提案する。 進行中のトレーニングに16ビットの精度を採用することで、メモリ要件と計算負荷を大幅に削減できる。 実験により,本手法は,元の32ビットトレーニングによって設定された高精度な精度を維持しつつ,学習速度を向上することを示す。
  論文  参考訳（メタデータ） (2023-11-30T14:28:25Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• The Hidden Power of Pure 16-bit Floating-Point Neural Networks [1.9594704501292781]
  ニューラルネットワークの精度を32ビットの精度から下げることは、長年、パフォーマンスに有害であると考えられてきた。 本稿では,32ビットネットワーク上での純粋16ビットニューラルネットワークの性能向上について検討する。
  論文  参考訳（メタデータ） (2023-01-30T12:01:45Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• FP8 Formats for Deep Learning [49.54015320992368]
  2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。 E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。 16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-12T17:39:55Z)
• MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
  現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。 評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。 転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
  論文  参考訳（メタデータ） (2021-11-30T03:52:15Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
  本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。 エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。 その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
  論文  参考訳（メタデータ） (2021-04-30T19:30:37Z)
• FBGEMM: Enabling High-Performance Low-Precision Deep Learning Inference [1.1292678337479967]
  fbgemmは、次世代cpuの高性能量子化推論のための高性能カーネルライブラリである。 fbgemmは、高速なgem実装で共通量子化演算を融合させ、実行時に形状およびサイズ固有のカーネルコード生成によって効率を向上する。 このライブラリはfacebookにデプロイされ、現在のプロダクションベースラインの2倍以上のパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-01-13T00:34:04Z)
• Revisiting BFloat16 Training [30.99618783594963]
  最先端の汎用的低精度トレーニングアルゴリズムでは、16ビットと32ビットの精度が混在している。 ディープラーニングアクセラレータは、16ビットと32ビットの浮動小数点ユニットの両方をサポートせざるを得ない。
  論文  参考訳（メタデータ） (2020-10-13T05:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。