論文の概要: NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2407.11698v1
• Date: Tue, 16 Jul 2024 13:16:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:52:24.966058
• Title: NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks
• Title（参考訳）: NITRO-D:Deep Convolutional Neural Networksのネイティブ整数のみのトレーニング
• Authors: Alberto Pirillo, Luca Colombo, Manuel Roveri,
• Abstract要約: この研究は、任意の整数のみのコナールニューラルネットワーク(CNN)を学習するための新しいフレームワークであるNITRO-Dを導入する。 NiTRO-Dは、量子化スキームを導入することなく整数のみのCNNのトレーニングを可能にする文献における最初のフレームワークである。
• 参考スコア（独自算出の注目度）: 2.6230959823681834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization has become increasingly pivotal in addressing the steadily increasing computational and memory requirements of Deep Neural Networks (DNNs). By reducing the number of bits used to represent weights and activations (typically from 32-bit floating-point to 16-bit or 8-bit integers), quantization reduces the memory footprint, energy consumption, and execution time of DNN models. However, traditional quantization methods typically focus on the inference of DNNs, while the training process still relies on floating-point operations. To date, only one work in the literature has addressed integer-only training for Multi-Layer Perceptron (MLP) architectures. This work introduces NITRO-D, a new framework for training arbitrarily deep integer-only Convolutional Neural Networks (CNNs) that operate entirely< in the integer-only domain for both training and inference. NITRO-D is the first framework in the literature enabling the training of integer-only CNNs without the need to introduce a quantization scheme. Specifically, NITRO-D introduces a novel architecture integrating multiple integer local-loss blocks, which include the proposed NITRO Scaling Layer and the NITRO-ReLU activation function. Additionally, it introduces a novel integer-only learning algorithm derived from Local Error Signals (LES), utilizing IntegerSGD, an optimizer specifically designed to operate in an integer-only context. NITRO-D is implemented in an open-source Python library. Extensive experimental evaluations demonstrate its effectiveness across several state-of-the-art image recognition datasets. Results show significant performance improvements from 2.47% to 5.96% for integer-only MLP architectures over the state-of-the-art solution, and the capability of training integer-only CNN architectures with minimal accuracy degradation from -0.15% to -4.22% compared to floating-point LES.
• Abstract（参考訳）: 量子化は、ディープニューラルネットワーク(DNN)の着実に増加する計算とメモリ要件に対処する上で、ますます重要になっている。 重みとアクティベーションを表すために使用されるビット数(通常32ビット浮動小数点から16ビットまたは8ビット整数)を減らすことで、量子化はDNNモデルのメモリフットプリント、エネルギー消費、実行時間を減少させる。 しかしながら、従来の量子化法は一般的にDNNの推測に焦点をあてるが、トレーニングプロセスは依然として浮動小数点演算に依存している。 これまで、多層パーセプトロン(MLP)アーキテクチャの整数のみのトレーニングに対処した研究は1つしかなかった。 NITRO-Dは、任意の深さの整数のみの畳み込みニューラルネットワーク(CNN)をトレーニングするための新しいフレームワークである。 NITRO-Dは、量子化スキームを導入することなく整数のみのCNNのトレーニングを可能にする文献の中で最初のフレームワークである。 具体的には、NITRO-Dは、NITROスケーリング層とNITRO-ReLUアクティベーション関数を含む、複数の整数ローカルロスブロックを統合する新しいアーキテクチャを導入している。 さらに、ローカルエラー信号(LES:Local Error Signals)から派生した新しい整数専用学習アルゴリズム、IntegerSGDを導入している。 NITRO-DはオープンソースのPythonライブラリで実装されている。 大規模な実験的評価は、いくつかの最先端の画像認識データセットにその効果を示す。 その結果、現状のソリューションよりも整数のみのMLPアーキテクチャでは2.47%から5.96%の大幅なパフォーマンス向上が達成され、浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点演算と比較して、最小の精度で整数のみのCNNアーキテクチャをトレーニングする能力が向上した。

関連論文リスト

• PocketNN: Integer-only Training and Inference of Neural Networks via Direct Feedback Alignment and Pocket Activations in Pure C++ [10.508187462682308]
  深層学習アルゴリズムは浮動小数点実数を用いて実装される。 これは、専用の浮動小数点ユニット(FPU)を持たないローエンドデバイスに実装する際の障害となる。
  論文  参考訳（メタデータ） (2022-01-08T16:52:34Z)
• Efficient and Robust Mixed-Integer Optimization Methods for Training Binarized Deep Neural Networks [0.07614628596146598]
  二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。 BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。 トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
  論文  参考訳（メタデータ） (2021-10-21T18:02:58Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
  精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。 当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
  論文  参考訳（メタデータ） (2021-09-20T20:17:40Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
  我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。 ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
  論文  参考訳（メタデータ） (2020-09-28T07:41:36Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。