論文の概要: Representation range needs for 16-bit neural network training
- arxiv url: http://arxiv.org/abs/2103.15940v1
- Date: Mon, 29 Mar 2021 20:30:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 06:41:46.026340
- Title: Representation range needs for 16-bit neural network training
- Title（参考訳）: 16ビットニューラルネットワークトレーニングのための表現範囲の必要性
- Authors: Valentina Popescu and Abhinav Venigalla and Di Wu and Robert Schreiber
- Abstract要約: 浮動小数点演算では指数ビット数の変化に伴い精度と表現範囲のトレードオフが存在する。
我々は6ビットの指数と9ビットの明示的なマンティッサという1/6/9フォーマットを提案する。
1/6/9混合精度トレーニングは,非正規動作の性能低下を引き起こすハードウェア上でのトレーニングを高速化できることを示す。
- 参考スコア（独自算出の注目度）: 2.2657486535885094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning has grown rapidly thanks to its state-of-the-art performance
across a wide range of real-world applications. While neural networks have been
trained using IEEE-754 binary32 arithmetic, the rapid growth of computational
demands in deep learning has boosted interest in faster, low precision
training. Mixed-precision training that combines IEEE-754 binary16 with
IEEE-754 binary32 has been tried, and other $16$-bit formats, for example
Google's bfloat16, have become popular. In floating-point arithmetic there is a
tradeoff between precision and representation range as the number of exponent
bits changes; denormal numbers extend the representation range. This raises
questions of how much exponent range is needed, of whether there is a format
between binary16 (5 exponent bits) and bfloat16 (8 exponent bits) that works
better than either of them, and whether or not denormals are necessary.
In the current paper we study the need for denormal numbers for
mixed-precision training, and we propose a 1/6/9 format, i.e., 6-bit exponent
and 9-bit explicit mantissa, that offers a better range-precision tradeoff. We
show that 1/6/9 mixed-precision training is able to speed up training on
hardware that incurs a performance slowdown on denormal operations or
eliminates the need for denormal numbers altogether. And, for a number of fully
connected and convolutional neural networks in computer vision and natural
language processing, 1/6/9 achieves numerical parity to standard
mixed-precision.
- Abstract（参考訳）: ディープラーニングは、さまざまな現実世界のアプリケーションにまたがる最先端のパフォーマンスのおかげで、急速に成長している。
ニューラルネットワークはIEEE-754 binary32演算を用いてトレーニングされているが、ディープラーニングにおける計算要求の急速な増加は、高速で高精度なトレーニングへの関心を高めている。
IEEE-754 binary16とIEEE-754 binary32を組み合わせた混合精度トレーニングが試みられ、Googleのbfloat16のような16ドルビットフォーマットが人気を集めている。
浮動小数点算術では、指数ビットの数が変化するにつれて、精度と表現範囲の間にトレードオフがあり、非正規数は表現範囲を拡張する。
これは、バイナリ16(5指数ビット)とbfloat16(8指数ビット)の間にフォーマットが存在し、どちらよりもうまく機能するか、あるいは非正規化が必要かどうかという、指数範囲がどの程度必要かという疑問を提起する。
本稿では,混合精度トレーニングにおける非正規数の必要性について検討し,6ビット指数と9ビット明示マンティッサという1/6/9形式を提案する。
1/6/9混合精度トレーニングは,非正規演算の性能低下を招いたハードウェア上でのトレーニングを高速化したり,非正規演算の必要性を完全に排除できることを示す。
そして、コンピュータビジョンと自然言語処理における多くの完全連結および畳み込みニューラルネットワークに対して、1/6/9は標準的な混合精度と数値パリティを達成する。
関連論文リスト
- Expressive Power of ReLU and Step Networks under Floating-Point Operations [11.29958155597398]
二項しきい値単位またはReLUを用いたニューラルネットワークは、任意の有限入力/出力ペアを記憶可能であることを示す。
また,浮動小数点演算が有意および指数の両方に有限ビットを使用する場合,暗記および普遍近似に関する同様の結果を示す。
論文 参考訳（メタデータ） (2024-01-26T05:59:40Z) - Positional Description Matters for Transformers Arithmetic [58.4739272381373]
トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。
位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
論文 参考訳（メタデータ） (2023-11-22T00:31:01Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - FP8 Formats for Deep Learning [49.54015320992368]
2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。
E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。
16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2022-09-12T17:39:55Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。
エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。
その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
論文 参考訳（メタデータ） (2021-04-30T19:30:37Z) - Deep Neural Network Training without Multiplications [0.0]
ResNetはこの操作を競合する分類精度で訓練できることを示す。
この方法は、ディープニューラルネットワークトレーニングと推論における乗算の排除を可能にする。
論文 参考訳（メタデータ） (2020-12-07T05:40:50Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z) - NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。
ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。
NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
論文 参考訳（メタデータ） (2020-09-28T07:41:36Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。