論文の概要: The Hidden Power of Pure 16-bit Floating-Point Neural Networks
- arxiv url: http://arxiv.org/abs/2301.12809v2
- Date: Fri, 3 May 2024 02:56:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 18:35:59.250458
- Title: The Hidden Power of Pure 16-bit Floating-Point Neural Networks
- Title（参考訳）: 純16ビット浮動小数点ニューラルネットワークの隠れ電力
- Authors: Juyoung Yun, Byungkon Kang, Zhoulai Fu,
- Abstract要約: ニューラルネットワークの精度を32ビットの精度から下げることは、長年、パフォーマンスに有害であると考えられてきた。
本稿では,32ビットネットワーク上での純粋16ビットニューラルネットワークの性能向上について検討する。
- 参考スコア（独自算出の注目度）: 1.9594704501292781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lowering the precision of neural networks from the prevalent 32-bit precision has long been considered harmful to performance, despite the gain in space and time. Many works propose various techniques to implement half-precision neural networks, but none study pure 16-bit settings. This paper investigates the unexpected performance gain of pure 16-bit neural networks over the 32-bit networks in classification tasks. We present extensive experimental results that favorably compare various 16-bit neural networks' performance to those of the 32-bit models. In addition, a theoretical analysis of the efficiency of 16-bit models is provided, which is coupled with empirical evidence to back it up. Finally, we discuss situations in which low-precision training is indeed detrimental.
- Abstract（参考訳）: ニューラルネットワークの精度を32ビットの精度から下げることは、空間と時間の増大にもかかわらず、長年、パフォーマンスに有害であると考えられてきた。
多くの研究が半精度ニューラルネットワークを実装するための様々な手法を提案しているが、純粋な16ビット設定を研究するものはない。
本稿では,32ビットネットワーク上での純粋16ビットニューラルネットワークの性能向上について検討する。
我々は、様々な16ビットニューラルネットワークの性能と32ビットモデルの性能を好適に比較した広範な実験結果を示す。
さらに、16ビットモデルの効率を理論的に解析し、実証的な証拠と組み合わせてそれを裏付ける。
最後に,低精度トレーニングが本当に有害な状況について論じる。
関連論文リスト
- Standalone 16-bit Training: Missing Study for Hardware-Limited Deep Learning Practitioners [2.075190620803526]
混合精度技術は、モデルトレーニングと推論の間に異なる数値精度を活用し、資源利用を最適化する。
リソースが限られている多くの人にとって、利用可能なオプションは32ビット、16ビット、または2つの組み合わせに限られている。
この研究は重要なギャップを埋め、スタンドアロンの16ビット精度のニューラルネットワークが32ビットと混合精度の精度で一致したことを初めて証明した。
論文 参考訳（メタデータ） (2023-05-18T13:09:45Z) - RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of
Quantized CNNs [9.807687918954763]
畳み込みニューラルネットワーク(CNN)は、画像処理、分類、セグメンテーションタスクのためのディープニューラルネットワークの標準クラスとなっている。
RedBitは、透過的で使いやすいインターフェースを提供するオープンソースのフレームワークで、異なるアルゴリズムの有効性をネットワークの精度で評価する。
論文 参考訳（メタデータ） (2023-01-15T21:27:35Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。
エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。
その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
論文 参考訳（メタデータ） (2021-04-30T19:30:37Z) - Scalable Verification of Quantized Neural Networks (Technical Report) [14.04927063847749]
ビットベクトル仕様を持つ量子化ニューラルネットワークのビットエクササイズ実装はPSPACEハードであることを示す。
量子化されたニューラルネットワークのSMTに基づく検証をよりスケーラブルにするための3つの手法を提案する。
論文 参考訳（メタデータ） (2020-12-15T10:05:37Z) - Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets [65.28292822614418]
解像度、深さ、幅を同時に拡大する巨大な公式は、ニューラルネットワークのためのルービックキューブを提供する。
本稿では,最小モデルサイズと計算コストで深層ニューラルネットワークを得るためのツイストルールを検討することを目的とする。
論文 参考訳（メタデータ） (2020-10-28T08:49:45Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。
ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-07-26T23:18:38Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。