論文の概要: NITI: Training Integer Neural Networks Using Integer-only Arithmetic
- arxiv url: http://arxiv.org/abs/2009.13108v2
- Date: Fri, 11 Feb 2022 11:08:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 22:08:57.415725
- Title: NITI: Training Integer Neural Networks Using Integer-only Arithmetic
- Title（参考訳）: NITI: Integer-only Arithmetic を用いた整数ニューラルネットワークのトレーニング
- Authors: Maolin Wang, Seyedramin Rasoulinezhad, Philip H.W. Leong, Hayden K.H.
So
- Abstract要約: 我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。
ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。
NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
- 参考スコア（独自算出の注目度）: 4.361357921751159
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While integer arithmetic has been widely adopted for improved performance in
deep quantized neural network inference, training remains a task primarily
executed using floating point arithmetic. This is because both high dynamic
range and numerical accuracy are central to the success of most modern training
algorithms. However, due to its potential for computational, storage and energy
advantages in hardware accelerators, neural network training methods that can
be implemented with low precision integer-only arithmetic remains an active
research challenge. In this paper, we present NITI, an efficient deep neural
network training framework that stores all parameters and intermediate values
as integers, and computes exclusively with integer arithmetic. A pseudo
stochastic rounding scheme that eliminates the need for external random number
generation is proposed to facilitate conversion from wider intermediate results
to low precision storage. Furthermore, a cross-entropy loss backpropagation
scheme computed with integer-only arithmetic is proposed. A proof-of-concept
open-source software implementation of NITI that utilizes native 8-bit integer
operations in modern GPUs to achieve end-to-end training is presented. When
compared with an equivalent training setup implemented with floating point
storage and arithmetic, NITI achieves negligible accuracy degradation on the
MNIST and CIFAR10 datasets using 8-bit integer storage and computation. On
ImageNet, 16-bit integers are needed for weight accumulation with an 8-bit
datapath. This achieves training results comparable to all-floating-point
implementations.
- Abstract（参考訳）: 整数算術は深部量子化ニューラルネットワーク推論の性能向上のために広く採用されているが、トレーニングは主に浮動小数点演算を用いて実行される。
これは、高ダイナミックレンジと数値精度の両方が、現代のトレーニングアルゴリズムの成功の中心であるからである。
しかし、ハードウェアアクセラレータにおける計算、ストレージ、エネルギーアドバンテージの可能性から、低精度整数のみの演算で実装可能なニューラルネットワークのトレーニング手法は、現在も活発な研究課題である。
本稿では,すべてのパラメータと中間値を整数として格納し,整数演算のみで計算する,効率的なディープニューラルネットワークトレーニングフレームワークであるnitiを提案する。
より広い中間結果から低精度記憶への変換を容易にするために,外部乱数生成を不要とする疑似確率円形化方式を提案する。
さらに,整数演算で計算したクロスエントロピー損失バックプロパゲーションスキームを提案する。
最新のGPUにおけるネイティブ8ビット整数演算を利用してエンドツーエンドのトレーニングを実現するNITIのコンセプト実証ソフトウェア実装について述べる。
浮動小数点記憶と演算で実装された同等のトレーニングセットアップと比較すると、nitiは8ビット整数記憶と計算を用いてmnistとcifar10データセットの精度を無視できる。
ImageNetでは、重量蓄積には16ビットの整数が必要である。
これにより、全フローティングポイント実装に匹敵するトレーニング結果が得られる。
関連論文リスト
- NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks [2.6230959823681834]
この研究は、任意の整数のみの畳み込みニューラルネットワーク(CNN)を学習するための新しいフレームワークであるNITRO-Dを導入する。
NiTRO-Dは、量子化スキームを導入することなく整数のみのCNNのトレーニングを可能にする文献の中で最初のフレームワークである。
論文 参考訳（メタデータ） (2024-07-16T13:16:49Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Is Integer Arithmetic Enough for Deep Learning Training? [2.9136421025415205]
浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。
本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。
提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
論文 参考訳（メタデータ） (2022-07-18T22:36:57Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳（メタデータ） (2021-10-21T18:02:58Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。
近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。
浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文 参考訳（メタデータ） (2021-03-25T06:57:11Z) - HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。
HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
論文 参考訳（メタデータ） (2020-11-20T23:51:43Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Shifted and Squeezed 8-bit Floating Point format for Low-Precision
Training of Deep Neural Networks [13.929168096016957]
本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。
ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。
提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
論文 参考訳（メタデータ） (2020-01-16T06:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。