論文の概要: RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of
Quantized CNNs
- arxiv url: http://arxiv.org/abs/2301.06193v1
- Date: Sun, 15 Jan 2023 21:27:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 16:53:29.012835
- Title: RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of
Quantized CNNs
- Title（参考訳）: RedBit: 量子CNNの正確性を評価するためのエンドツーエンドフレキシブルフレームワーク
- Authors: Andr\'e Santos, Jo\~ao Dinis Ferreira, Onur Mutlu, Gabriel Falcao
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、画像処理、分類、セグメンテーションタスクのためのディープニューラルネットワークの標準クラスとなっている。
RedBitは、透過的で使いやすいインターフェースを提供するオープンソースのフレームワークで、異なるアルゴリズムの有効性をネットワークの精度で評価する。
- 参考スコア（独自算出の注目度）: 9.807687918954763
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, Convolutional Neural Networks (CNNs) have become the
standard class of deep neural network for image processing, classification and
segmentation tasks. However, the large strides in accuracy obtained by CNNs
have been derived from increasing the complexity of network topologies, which
incurs sizeable performance and energy penalties in the training and inference
of CNNs. Many recent works have validated the effectiveness of parameter
quantization, which consists in reducing the bit width of the network's
parameters, to enable the attainment of considerable performance and energy
efficiency gains without significantly compromising accuracy. However, it is
difficult to compare the relative effectiveness of different quantization
methods. To address this problem, we introduce RedBit, an open-source framework
that provides a transparent, extensible and easy-to-use interface to evaluate
the effectiveness of different algorithms and parameter configurations on
network accuracy. We use RedBit to perform a comprehensive survey of five
state-of-the-art quantization methods applied to the MNIST, CIFAR-10 and
ImageNet datasets. We evaluate a total of 2300 individual bit width
combinations, independently tuning the width of the network's weight and input
activation parameters, from 32 bits down to 1 bit (e.g., 8/8, 2/2, 1/32, 1/1,
for weights/activations). Upwards of 20000 hours of computing time in a pool of
state-of-the-art GPUs were used to generate all the results in this paper. For
1-bit quantization, the accuracy losses for the MNIST, CIFAR-10 and ImageNet
datasets range between [0.26%, 0.79%], [9.74%, 32.96%] and [10.86%, 47.36%]
top-1, respectively. We actively encourage the reader to download the source
code and experiment with RedBit, and to submit their own observed results to
our public repository, available at https://github.com/IT-Coimbra/RedBit.
- Abstract（参考訳）: 近年、畳み込みニューラルネットワーク(CNN)は、画像処理、分類、セグメンテーションタスクのためのディープニューラルネットワークの標準クラスとなっている。
しかし、cnnによって得られた精度の大きな進歩は、ネットワークトポロジーの複雑さが増すことであり、cnnのトレーニングと推論において、大きな性能とエネルギーペナルティを伴っている。
近年の多くの研究で、ネットワークのパラメータのビット幅を減らすことによるパラメータ量子化の有効性が検証され、精度を損なうことなくかなりの性能とエネルギー効率の向上を実現している。
しかし,異なる量子化法の相対的有効性を比較することは困難である。
この問題に対処するために,さまざまなアルゴリズムとパラメータ構成がネットワーク精度に与える影響を評価するために,透過的で拡張性があり,使いやすいインターフェースを提供するオープンソースのフレームワークであるRedBitを紹介する。
我々はRedBitを用いて、MNIST、CIFAR-10、ImageNetデータセットに適用された5つの最先端量子化手法の包括的な調査を行う。
ネットワークの重みと入力活性化パラメータの幅を32ビットから1ビット(例えば8/8,2/2,1/32,1/1)まで独立に調整し,合計2300ビット幅の組み合わせを評価する。
この論文では、最先端GPUのプールにおける20000時間以上の計算時間を、すべての結果を生成するために使用した。
1ビット量子化では、MNIST、CIFAR-10、ImageNetデータセットの精度損失はそれぞれ [0.26%, 0.79%]、 [9.74%, 32.96%]、 [10.86%, 47.36%] である。
私たちは読者に対して、ソースコードをダウンロードしてredbitで実験することを積極的に推奨し、観察した結果を公開リポジトリに公開することを推奨しています。
関連論文リスト
- OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。
本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。
このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
論文 参考訳（メタデータ） (2021-09-16T10:59:33Z) - HANT: Hardware-Aware Network Transformation [82.54824188745887]
ハードウェア・アウェア・ネットワーク・トランスフォーメーション(HANT)を提案する。
HANTは、ニューラルネットワーク検索のようなアプローチを使用して、非効率な操作をより効率的な代替手段に置き換える。
EfficientNetファミリの高速化に関する我々の結果は、ImageNetデータセットのトップ1の精度で最大3.6倍、0.4%の低下でHANTがそれらを加速できることを示している。
論文 参考訳（メタデータ） (2021-07-12T18:46:34Z) - PocketNet: A Smaller Neural Network for 3D Medical Image Segmentation [0.0]
私たちは、パラメータの数の3%未満を使用しながら、従来のCNNに匹敵するセグメンテーション結果を達成するPocketNetと呼ばれる新しいCNNアーキテクチャを導き出します。
我々は,PocketNetが従来のCNNに匹敵するセグメンテーション結果を達成し,パラメータ数の3%未満を用いていることを示す。
論文 参考訳（メタデータ） (2021-04-21T20:10:30Z) - Fixed-point Quantization of Convolutional Neural Networks for Quantized
Inference on Embedded Platforms [0.9954382983583577]
本稿では,事前学習したCNNの各レイヤの重み,バイアス,アクティベーションを最適に定量化する手法を提案する。
このプロセスでは、パラメータの層単位での量子化が大いに役立ちます。
論文 参考訳（メタデータ） (2021-02-03T17:05:55Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳（メタデータ） (2020-08-08T13:32:33Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。
CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文 参考訳（メタデータ） (2020-05-18T19:06:14Z) - Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。
ベースライン上での精度と学習収束性を一貫した改善を示す。
提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文 参考訳（メタデータ） (2020-04-10T11:09:50Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。