論文の概要: In Defense of Pure 16-bit Floating-Point Neural Networks
- arxiv url: http://arxiv.org/abs/2305.10947v1
- Date: Thu, 18 May 2023 13:09:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 15:18:34.494710
- Title: In Defense of Pure 16-bit Floating-Point Neural Networks
- Title(参考訳): 純粋16ビット浮動小数点ニューラルネットワークの防御
- Authors: Juyoung Yun, Byungkon Kang, Francois Rameau, Zhoulai Fu
- Abstract要約: 純粋な16ビット浮動小数点ニューラルネットワークは、混合精度と32ビットのニューラルネットワークと同等またはそれ以上のパフォーマンスを達成することができる。
その結果、純粋な16ビット浮動小数点ニューラルネットワークは、混合精度と32ビットのニューラルネットワークと同等またはそれ以上の性能を達成できることがわかった。
- 参考スコア(独自算出の注目度): 4.0527583944137255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reducing the number of bits needed to encode the weights and activations of
neural networks is highly desirable as it speeds up their training and
inference time while reducing memory consumption. For these reasons, research
in this area has attracted significant attention toward developing neural
networks that leverage lower-precision computing, such as mixed-precision
training. Interestingly, none of the existing approaches has investigated pure
16-bit floating-point settings. In this paper, we shed light on the overlooked
efficiency of pure 16-bit floating-point neural networks. As such, we provide a
comprehensive theoretical analysis to investigate the factors contributing to
the differences observed between 16-bit and 32-bit models. We formalize the
concepts of floating-point error and tolerance, enabling us to quantitatively
explain the conditions under which a 16-bit model can closely approximate the
results of its 32-bit counterpart. This theoretical exploration offers
perspective that is distinct from the literature which attributes the success
of low-precision neural networks to its regularization effect. This in-depth
analysis is supported by an extensive series of experiments. Our findings
demonstrate that pure 16-bit floating-point neural networks can achieve similar
or even better performance than their mixed-precision and 32-bit counterparts.
We believe the results presented in this paper will have significant
implications for machine learning practitioners, offering an opportunity to
reconsider using pure 16-bit networks in various applications.
- Abstract(参考訳): ニューラルネットワークの重みとアクティベーションをエンコードするために必要なビット数を減らすことは、トレーニングと推論時間を短縮しながらメモリ消費を削減し、非常に望ましい。
これらの理由から、この領域の研究は、混合精度トレーニングのような低精度コンピューティングを活用するニューラルネットワークの開発に対して大きな注目を集めている。
興味深いことに、既存のアプローチでは純粋な16ビット浮動小数点設定は調査されていない。
本稿では、純粋な16ビット浮動小数点ニューラルネットワークの効率性について考察した。
そこで本研究では,16ビットモデルと32ビットモデルとの差に寄与する要因を包括的に解析する。
浮動小数点誤差と耐性の概念を定式化し、16ビットモデルが32ビットモデルの結果を正確に近似できる条件を定量的に説明できるようにする。
この理論的探究は、低精度ニューラルネットワークの成功を正規化効果に特徴づける文献とは異なる視点を提供する。
この詳細な分析は広範な実験によって支持されている。
その結果、純粋な16ビット浮動小数点ニューラルネットワークは、混合精度および32ビットのニューラルネットワークと同等またはそれ以上のパフォーマンスを達成できることがわかった。
この論文で示された結果は、さまざまなアプリケーションで純粋な16ビットネットワークを使って再考する機会を提供する機械学習実践者に大きな影響を与えるだろう。
関連論文リスト
- Compressed Real Numbers for AI: a case-study using a RISC-V CPU [2.0516276923852415]
我々は、機械学習アプリケーションにおいて、バイナリ32数値を圧縮する興味深い結果を得た2種類のフォーマットに焦点を当てる。
本稿では,計算直前に浮動小数点のテンソルを分解する方法を提案する。
論文 参考訳(メタデータ) (2023-09-11T07:54:28Z) - The Hidden Power of Pure 16-bit Floating-Point Neural Networks [1.9594704501292781]
ニューラルネットワークの精度を32ビットの精度から下げることは、長年、パフォーマンスに有害であると考えられてきた。
本稿では,32ビットネットワーク上での純粋16ビットニューラルネットワークの性能向上について検討する。
論文 参考訳(メタデータ) (2023-01-30T12:01:45Z) - FP8 Formats for Deep Learning [49.54015320992368]
2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。
E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。
16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
論文 参考訳(メタデータ) (2022-09-12T17:39:55Z) - ZippyPoint: Fast Interest Point Detection, Description, and Matching
through Mixed Precision Discretization [71.91942002659795]
我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。
バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。
これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
論文 参考訳(メタデータ) (2022-03-07T18:59:03Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。
エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。
その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
論文 参考訳(メタデータ) (2021-04-30T19:30:37Z) - Representation range needs for 16-bit neural network training [2.2657486535885094]
浮動小数点演算では指数ビット数の変化に伴い精度と表現範囲のトレードオフが存在する。
我々は6ビットの指数と9ビットの明示的なマンティッサという1/6/9フォーマットを提案する。
1/6/9混合精度トレーニングは,非正規動作の性能低下を引き起こすハードウェア上でのトレーニングを高速化できることを示す。
論文 参考訳(メタデータ) (2021-03-29T20:30:02Z) - Revisiting BFloat16 Training [30.99618783594963]
最先端の汎用的低精度トレーニングアルゴリズムでは、16ビットと32ビットの精度が混在している。
ディープラーニングアクセラレータは、16ビットと32ビットの浮動小数点ユニットの両方をサポートせざるを得ない。
論文 参考訳(メタデータ) (2020-10-13T05:38:07Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳(メタデータ) (2020-09-18T09:13:26Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。