論文の概要: PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit

• arxiv url: http://arxiv.org/abs/2105.00053v2
• Date: Tue, 4 May 2021 09:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-05 10:46:08.710909
• Title: PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit
• Title（参考訳）: positnn:低精度ポジットを混合したディープニューラルネットワークのトレーニング
• Authors: Gon\c{c}alo Raposo and Pedro Tom\'as and Nuno Roma
• Abstract要約: 本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。 エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。 その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
• 参考スコア（独自算出の注目度）: 5.534626267734822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-precision formats have proven to be an efficient way to reduce not only the memory footprint but also the hardware resources and power consumption of deep learning computations. Under this premise, the posit numerical format appears to be a highly viable substitute for the IEEE floating-point, but its application to neural networks training still requires further research. Some preliminary results have shown that 8-bit (and even smaller) posits may be used for inference and 16-bit for training, while maintaining the model accuracy. The presented research aims to evaluate the feasibility to train deep convolutional neural networks using posits. For such purpose, a software framework was developed to use simulated posits and quires in end-to-end training and inference. This implementation allows using any bit size, configuration, and even mixed precision, suitable for different precision requirements in various stages. The obtained results suggest that 8-bit posits can substitute 32-bit floats during training with no negative impact on the resulting loss and accuracy.
• Abstract（参考訳）: 低精度フォーマットは、メモリフットプリントだけでなく、ハードウェアリソースやディープラーニング計算の消費電力を削減する効率的な方法であることが証明されている。 この前提の下では、ポジットの数値形式はIEEE浮動小数点の代用として非常に有効なようだが、ニューラルネットワークトレーニングへの応用にはさらなる研究が必要である。 予備的な結果は、モデル精度を維持しながら、8ビット(さらに小さい)ポジットを推論と16ビットのトレーニングに使用できることを示している。 本研究の目的は, ポジットを用いた深部畳み込みニューラルネットワークの訓練の可能性を評価することである。 このような目的のために、ソフトウェアフレームワークは、エンドツーエンドのトレーニングと推論において、シミュレーションされたポジトリとクイアを使用するように開発された。 この実装では、様々な段階における異なる精度要件に適したビットサイズ、構成、および混合精度が利用可能である。 その結果, 8ビットポジットはトレーニング中に32ビットフロートを置換でき, 損失や精度に悪影響を及ぼさないことが示唆された。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• The Hidden Power of Pure 16-bit Floating-Point Neural Networks [1.9594704501292781]
  ニューラルネットワークの精度を32ビットの精度から下げることは、長年、パフォーマンスに有害であると考えられてきた。 本稿では,32ビットネットワーク上での純粋16ビットニューラルネットワークの性能向上について検討する。
  論文  参考訳（メタデータ） (2023-01-30T12:01:45Z)
• FP8 Quantization: The Power of the Exponent [19.179749424362686]
  本稿では,ニューラルネットワーク推論における浮動小数点方式の利点について検討する。 我々はFP8フォーマットで選択できる選択について詳述し、マティーサと指数のビット数の重要な選択を含む。 これらの結果が実際のネットワークにどのように変換され、FP8シミュレーションの効率的な実装と新しいアルゴリズムが提供されるかを示す。
  論文  参考訳（メタデータ） (2022-08-19T09:03:00Z)
• 8-bit Numerical Formats for Deep Neural Networks [1.304892050913381]
  本研究では,8ビット浮動小数点数形式を用いて,トレーニングと推論の両方にアクティベーション,重み,勾配を求める。 実験により、これらの低精度フォーマットの適切な選択は、画像分類と言語処理のための様々なディープラーニングモデルに対して、精度を劣化させることなく、高速なトレーニングと消費電力削減を可能にすることが示された。
  論文  参考訳（メタデータ） (2022-06-06T21:31:32Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Deep Neural Network Training without Multiplications [0.0]
  ResNetはこの操作を競合する分類精度で訓練できることを示す。 この方法は、ディープニューラルネットワークトレーニングと推論における乗算の排除を可能にする。
  論文  参考訳（メタデータ） (2020-12-07T05:40:50Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
  本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。 ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。 提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-16T06:38:27Z)
• Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
  共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。 まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。 勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
  論文  参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。