論文の概要: Efficient Integer-Arithmetic-Only Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2006.11735v1
• Date: Sun, 21 Jun 2020 08:23:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:47:10.411346
• Title: Efficient Integer-Arithmetic-Only Convolutional Neural Networks
• Title（参考訳）: 効率の良い整数-アリティメティック・オンリー畳み込みニューラルネットワーク
• Authors: Hengrui Zhao and Dong Liu and Houqiang Li
• Abstract要約: 我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
• 参考スコア（独自算出の注目度）: 87.01739569518513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integer-arithmetic-only networks have been demonstrated effective to reduce computational cost and to ensure cross-platform consistency. However, previous works usually report a decline in the inference accuracy when converting well-trained floating-point-number (FPN) networks into integer networks. We analyze this phonomenon and find that the decline is due to activation quantization. Specifically, when we replace conventional ReLU with Bounded ReLU, how to set the bound for each neuron is a key problem. Considering the tradeoff between activation quantization error and network learning ability, we set an empirical rule to tune the bound of each Bounded ReLU. We also design a mechanism to handle the cases of feature map addition and feature map concatenation. Based on the proposed method, our trained 8-bit integer ResNet outperforms the 8-bit networks of Google's TensorFlow and NVIDIA's TensorRT for image recognition. We also experiment on VDSR for image super-resolution and on VRCNN for compression artifact reduction, both of which serve for regression tasks that natively require high inference accuracy. Our integer networks achieve equivalent performance as the corresponding FPN networks, but have only 1/4 memory cost and run 2x faster on modern GPUs. Our code and models can be found at github.com/HengRuiZ/brelu.
• Abstract（参考訳）: Integer-arithmetic-onlyネットワークは計算コストを削減し、クロスプラットフォームの一貫性を確保するために有効である。 しかし、従来の研究では、よく訓練された浮動小数点数(FPN)ネットワークを整数ネットワークに変換する際の推論精度の低下を報告していた。 このフォノメノンを解析し、その減少は活性化量子化によるものであることを示す。 具体的には、従来のReLUを境界ReLUに置き換える場合、各ニューロンのバウンドを設定する方法が重要な問題である。 アクティベーション量子化誤差とネットワーク学習能力のトレードオフを考慮し、各境界ReLUの境界を調整するための経験則を設定した。 また,特徴マップの追加や特徴マップの連結といったケースを扱う機構を設計する。 提案手法に基づいて、トレーニングした8ビット整数ResNetは、GoogleのTensorFlowとNVIDIAのTensorRTの8ビットネットワークより優れた画像認識を行う。 また,画像超解像のためのVDSRと圧縮アーティファクト低減のためのVRCNNについても実験を行った。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4であり、現在のGPUでは2倍高速である。 私たちのコードとモデルはgithub.com/hengruiz/breluにあります。

関連論文リスト

• NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks [2.6230959823681834]
  この研究は、任意の整数のみの畳み込みニューラルネットワーク(CNN)を学習するための新しいフレームワークであるNITRO-Dを導入する。 NiTRO-Dは、量子化スキームを導入することなく整数のみのCNNのトレーニングを可能にする文献の中で最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-07-16T13:16:49Z)
• RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of Quantized CNNs [9.807687918954763]
  畳み込みニューラルネットワーク(CNN)は、画像処理、分類、セグメンテーションタスクのためのディープニューラルネットワークの標準クラスとなっている。 RedBitは、透過的で使いやすいインターフェースを提供するオープンソースのフレームワークで、異なるアルゴリズムの有効性をネットワークの精度で評価する。
  論文  参考訳（メタデータ） (2023-01-15T21:27:35Z)
• DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos [16.644938608211202]
  ビデオデータ上の畳み込みニューラルネットワーク推論は、リアルタイム処理に強力なハードウェアを必要とする。 スパースフレーム・バイ・フレーム更新を可能にするスパース畳み込みニューラルネットワークフレームワークを提案する。 我々は,厳密な参照であるcuDNNを,精度の限界差のみで最大7倍のスピードアップを達成するために,初めて性能を向上した。
  論文  参考訳（メタデータ） (2022-03-08T10:54:00Z)
• OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
  混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。 本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。 このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
  論文  参考訳（メタデータ） (2021-09-16T10:59:33Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Integer-Only Neural Network Quantization Scheme Based on Shift-Batch-Normalization [13.82935273026808]
  本稿では整数のみの量子化方式を提案する。 このスキームはシフトベースのバッチ正規化と均一量子化を使用して4ビット整数のみの推論を実装している。
  論文  参考訳（メタデータ） (2021-05-28T09:28:12Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• NITI: Training Integer Neural Networks Using Integer-only Arithmetic [4.361357921751159]
  我々は,整数演算のみを用いて計算を行う,効率的なディープニューラルネットワークトレーニングフレームワークであるNITIを提案する。 ネイティブ8ビット整数演算を用いたNITIの概念実証ソフトウェア実装について述べる。 NITIは8ビット整数ストレージと計算を用いてMNISTとCIFAR10データセットの無視可能な精度劣化を実現する。
  論文  参考訳（メタデータ） (2020-09-28T07:41:36Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。