論文の概要: Shifted and Squeezed 8-bit Floating Point format for Low-Precision
Training of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2001.05674v1
- Date: Thu, 16 Jan 2020 06:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 00:30:34.149679
- Title: Shifted and Squeezed 8-bit Floating Point format for Low-Precision
Training of Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークの低精度トレーニングのためのシフト8ビット浮動小数点フォーマット
- Authors: L\'eopold Cambier, Anahita Bhiwandiwalla, Ting Gong, Mehran Nekuii,
Oguz H Elibol, Hanlin Tang
- Abstract要約: 本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。
ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。
提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
- 参考スコア（独自算出の注目度）: 13.929168096016957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training with larger number of parameters while keeping fast iterations is an
increasingly adopted strategy and trend for developing better performing Deep
Neural Network (DNN) models. This necessitates increased memory footprint and
computational requirements for training. Here we introduce a novel methodology
for training deep neural networks using 8-bit floating point (FP8) numbers.
Reduced bit precision allows for a larger effective memory and increased
computational speed. We name this method Shifted and Squeezed FP8 (S2FP8). We
show that, unlike previous 8-bit precision training methods, the proposed
method works out-of-the-box for representative models: ResNet-50, Transformer
and NCF. The method can maintain model accuracy without requiring fine-tuning
loss scaling parameters or keeping certain layers in single precision. We
introduce two learnable statistics of the DNN tensors - shifted and squeezed
factors that are used to optimally adjust the range of the tensors in 8-bits,
thus minimizing the loss in information due to quantization.
- Abstract（参考訳）: 高速イテレーションを維持しながら多数のパラメータをトレーニングすることは、より優れたDeep Neural Network(DNN)モデルを開発するための、ますます採用される戦略とトレンドである。
これにより、トレーニングのメモリフットプリントと計算要求が増大する。
本稿では,8ビット浮動小数点数(fp8)を用いた深層ニューラルネットワークの学習手法を提案する。
ビット精度の低減により、より効率的なメモリと計算速度が向上する。
この手法をShifted and Squeezed FP8 (S2FP8) と呼ぶ。
提案手法は,従来の8ビット精度訓練法とは異なり,ResNet-50, Transformer, NCF などの代表モデルに対して最初から動作可能であることを示す。
この方法は、損失スケーリングパラメータの微調整や、特定の層を単一の精度で保持することなく、モデルの精度を維持することができる。
量子化による情報の損失を最小限に抑えるため、8ビットのテンソルの範囲を最適に調整するために用いられるシフト係数と圧縮係数の2つの学習可能な統計を導入する。
関連論文リスト
- Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - FP8 Quantization: The Power of the Exponent [19.179749424362686]
本稿では,ニューラルネットワーク推論における浮動小数点方式の利点について検討する。
我々はFP8フォーマットで選択できる選択について詳述し、マティーサと指数のビット数の重要な選択を含む。
これらの結果が実際のネットワークにどのように変換され、FP8シミュレーションの効率的な実装と新しいアルゴリズムが提供されるかを示す。
論文 参考訳（メタデータ） (2022-08-19T09:03:00Z) - Sub-8-Bit Quantization Aware Training for 8-Bit Neural Network
Accelerator with On-Device Speech Recognition [19.949933989959682]
本稿では,8ビットニューラルネットワークアクセラレータのための新しい8ビット量子化対応トレーニング手法を提案する。
モデルパラメータのサイズを拡大し、単語エラー率を相対的に4-16%削減すると同時に、レイテンシを5%改善しています。
論文 参考訳（メタデータ） (2022-06-30T16:52:07Z) - 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。
この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。
本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
論文 参考訳（メタデータ） (2021-10-06T15:43:20Z) - PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。
エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。
その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
論文 参考訳（メタデータ） (2021-04-30T19:30:37Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - All-You-Can-Fit 8-Bit Flexible Floating-Point Format for Accurate and
Memory-Efficient Inference of Deep Neural Networks [2.294014185517203]
本稿では,非常にフレキシブルな8ビット浮動小数点 (FFP8) フォーマットを提案する。
複数の代表的な画像分類モデルに対して、0.1%sim 0.3%の極めて低い精度の損失を達成している。
古典的な浮動小数点処理ユニットをFFP8準拠のユニットに変えるのは簡単で、余分なハードウェアコストは小さい。
論文 参考訳（メタデータ） (2021-04-15T09:37:23Z) - Subtensor Quantization for Mobilenets [5.735035463793008]
ディープニューラルネットワーク(DNN)の量子化により、開発者はより少ないメモリとより効率的な低消費電力推論でモデルをデプロイできるようになった。
本稿では,量子化損失の根本原因について分析し,チャネル単位やトレーニング対応のアプローチに依存しない代替案を提案する。
我々は、ImageNetデータセット上の画像分類タスクと、浮動小数点バージョンの0.7%以内で、トレーニング後の量子化8ビット推論トップ1の精度を評価する。
論文 参考訳（メタデータ） (2020-11-04T15:41:47Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。
まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。
勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
論文 参考訳（メタデータ） (2019-12-29T08:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。