論文の概要: In Defense of Pure 16-bit Floating-Point Neural Networks

• arxiv url: http://arxiv.org/abs/2305.10947v1
• Date: Thu, 18 May 2023 13:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 15:18:34.494710
• Title: In Defense of Pure 16-bit Floating-Point Neural Networks
• Title（参考訳）: 純粋16ビット浮動小数点ニューラルネットワークの防御
• Authors: Juyoung Yun, Byungkon Kang, Francois Rameau, Zhoulai Fu
• Abstract要約: 純粋な16ビット浮動小数点ニューラルネットワークは、混合精度と32ビットのニューラルネットワークと同等またはそれ以上のパフォーマンスを達成することができる。 その結果、純粋な16ビット浮動小数点ニューラルネットワークは、混合精度と32ビットのニューラルネットワークと同等またはそれ以上の性能を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 4.0527583944137255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reducing the number of bits needed to encode the weights and activations of neural networks is highly desirable as it speeds up their training and inference time while reducing memory consumption. For these reasons, research in this area has attracted significant attention toward developing neural networks that leverage lower-precision computing, such as mixed-precision training. Interestingly, none of the existing approaches has investigated pure 16-bit floating-point settings. In this paper, we shed light on the overlooked efficiency of pure 16-bit floating-point neural networks. As such, we provide a comprehensive theoretical analysis to investigate the factors contributing to the differences observed between 16-bit and 32-bit models. We formalize the concepts of floating-point error and tolerance, enabling us to quantitatively explain the conditions under which a 16-bit model can closely approximate the results of its 32-bit counterpart. This theoretical exploration offers perspective that is distinct from the literature which attributes the success of low-precision neural networks to its regularization effect. This in-depth analysis is supported by an extensive series of experiments. Our findings demonstrate that pure 16-bit floating-point neural networks can achieve similar or even better performance than their mixed-precision and 32-bit counterparts. We believe the results presented in this paper will have significant implications for machine learning practitioners, offering an opportunity to reconsider using pure 16-bit networks in various applications.
• Abstract（参考訳）: ニューラルネットワークの重みとアクティベーションをエンコードするために必要なビット数を減らすことは、トレーニングと推論時間を短縮しながらメモリ消費を削減し、非常に望ましい。 これらの理由から、この領域の研究は、混合精度トレーニングのような低精度コンピューティングを活用するニューラルネットワークの開発に対して大きな注目を集めている。 興味深いことに、既存のアプローチでは純粋な16ビット浮動小数点設定は調査されていない。 本稿では、純粋な16ビット浮動小数点ニューラルネットワークの効率性について考察した。 そこで本研究では,16ビットモデルと32ビットモデルとの差に寄与する要因を包括的に解析する。 浮動小数点誤差と耐性の概念を定式化し、16ビットモデルが32ビットモデルの結果を正確に近似できる条件を定量的に説明できるようにする。 この理論的探究は、低精度ニューラルネットワークの成功を正規化効果に特徴づける文献とは異なる視点を提供する。 この詳細な分析は広範な実験によって支持されている。 その結果、純粋な16ビット浮動小数点ニューラルネットワークは、混合精度および32ビットのニューラルネットワークと同等またはそれ以上のパフォーマンスを達成できることがわかった。 この論文で示された結果は、さまざまなアプリケーションで純粋な16ビットネットワークを使って再考する機会を提供する機械学習実践者に大きな影響を与えるだろう。

関連論文リスト

• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  我々は,学術ベンチマークや実世界のタスクにまたがる一般的な量子化形式を評価する。 W4A16は同期デプロイメントと中間層アーキテクチャの非同期デプロイメントに最適なコスト効率を提供する。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• Continuous 16-bit Training: Accelerating 32-bit Pre-Trained Neural Networks [0.0]
  本研究では,既存の32ビットモデルのトレーニングを16ビット精度で継続する手法を提案する。 進行中のトレーニングに16ビットの精度を採用することで、メモリ要件と計算負荷を大幅に削減できる。 実験により,本手法は,元の32ビットトレーニングによって設定された高精度な精度を維持しつつ,学習速度を向上することを示す。
  論文  参考訳（メタデータ） (2023-11-30T14:28:25Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• The Hidden Power of Pure 16-bit Floating-Point Neural Networks [1.9594704501292781]
  ニューラルネットワークの精度を32ビットの精度から下げることは、長年、パフォーマンスに有害であると考えられてきた。 本稿では,32ビットネットワーク上での純粋16ビットニューラルネットワークの性能向上について検討する。
  論文  参考訳（メタデータ） (2023-01-30T12:01:45Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• FP8 Formats for Deep Learning [49.54015320992368]
  2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。 E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。 16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-09-12T17:39:55Z)
• MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
  現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。 評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。 転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
  論文  参考訳（メタデータ） (2021-11-30T03:52:15Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
  本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。 エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。 その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
  論文  参考訳（メタデータ） (2021-04-30T19:30:37Z)
• FBGEMM: Enabling High-Performance Low-Precision Deep Learning Inference [1.1292678337479967]
  fbgemmは、次世代cpuの高性能量子化推論のための高性能カーネルライブラリである。 fbgemmは、高速なgem実装で共通量子化演算を融合させ、実行時に形状およびサイズ固有のカーネルコード生成によって効率を向上する。 このライブラリはfacebookにデプロイされ、現在のプロダクションベースラインの2倍以上のパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-01-13T00:34:04Z)
• Revisiting BFloat16 Training [30.99618783594963]
  最先端の汎用的低精度トレーニングアルゴリズムでは、16ビットと32ビットの精度が混在している。 ディープラーニングアクセラレータは、16ビットと32ビットの浮動小数点ユニットの両方をサポートせざるを得ない。
  論文  参考訳（メタデータ） (2020-10-13T05:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。