Fugu-MT 論文翻訳(概要): WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization

論文の概要: WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization

arxiv url: http://arxiv.org/abs/2003.00146v2
Date: Fri, 24 Apr 2020 10:39:34 GMT
ステータス: 処理完了
システム内更新日: 2022-12-27 20:07:29.472300
Title: WaveQ: Gradient-Based Deep Quantization of Neural Networks through Sinusoidal Adaptive Regularization
Title（参考訳）: WaveQ:正弦波適応正規化によるニューラルネットワークの勾配に基づく深部量子化
Authors: Ahmed T. Elthakeb, Prannoy Pilligundla, Fatemehsadat Mireshghallah, Tarek Elgindi, Charles-Alban Deledalle, Hadi Esmaeilzadeh
Abstract要約: 深部量子化トレーニングのための新しい正弦波正則化SINAREQを提案する。我々はSINAREQが計算効率と精度のバランスをとる方法を示し、多種多様な深層ネットワークの量子化のための異種ビット幅割り当てを提供する。
参考スコア（独自算出の注目度）: 8.153944203144988
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As deep neural networks make their ways into different domains, their compute efficiency is becoming a first-order constraint. Deep quantization, which reduces the bitwidth of the operations (below 8 bits), offers a unique opportunity as it can reduce both the storage and compute requirements of the network super-linearly. However, if not employed with diligence, this can lead to significant accuracy loss. Due to the strong inter-dependence between layers and exhibiting different characteristics across the same network, choosing an optimal bitwidth per layer granularity is not a straight forward. As such, deep quantization opens a large hyper-parameter space, the exploration of which is a major challenge. We propose a novel sinusoidal regularization, called SINAREQ, for deep quantized training. Leveraging the sinusoidal properties, we seek to learn multiple quantization parameterization in conjunction during gradient-based training process. Specifically, we learn (i) a per-layer quantization bitwidth along with (ii) a scale factor through learning the period of the sinusoidal function. At the same time, we exploit the periodicity, differentiability, and the local convexity profile in sinusoidal functions to automatically propel (iii) network weights towards values quantized at levels that are jointly determined. We show how SINAREQ balance compute efficiency and accuracy, and provide a heterogeneous bitwidth assignment for quantization of a large variety of deep networks (AlexNet, CIFAR-10, MobileNet, ResNet-18, ResNet-20, SVHN, and VGG-11) that virtually preserves the accuracy. Furthermore, we carry out experimentation using fixed homogenous bitwidths with 3- to 5-bit assignment and show the versatility of SINAREQ in enhancing quantized training algorithms (DoReFa and WRPN) with about 4.8% accuracy improvements on average, and then outperforming multiple state-of-the-art techniques.
Abstract（参考訳）: ディープニューラルネットワークがさまざまな分野に進出するにつれ、計算効率は1次制約になりつつある。演算のビット幅を8ビット以下に減らすディープ量子化(Deep Quantization)は、ネットワークのストレージと計算要求の両方を超直線的に削減できるユニークな機会を提供する。しかし、もし勤勉さを使わなければ、これはかなりの精度の損失につながる可能性がある。層間の強い相互依存性があり、同じネットワーク全体で異なる特性を示すため、層当たりの最適ビット幅の選択は、直進ではない。このように、深部量子化は大きなハイパーパラメータ空間を開き、その探索は大きな課題である。深部量子化トレーニングのための新しい正弦波正則化SINAREQを提案する。正弦波特性を活用し,勾配に基づくトレーニングプロセスにおいて,複数の量子化パラメータ化を併用して学習する。特に私たちは (i)層ごとの量子化ビット幅 (ii)正弦波関数の周期を学習する尺度因子。同時に、正弦波関数における周期性、微分可能性、局所凸性プロファイルを利用して自動的に伝播する。 (iii)共同決定されたレベルで定量化された値に対するネットワーク重み付け。我々はSINAREQが計算効率と精度のバランスをとる方法を示し、その精度を仮想的に保存する様々なディープネットワーク(AlexNet, CIFAR-10, MobileNet, ResNet-18, ResNet-20, SVHN, VGG-11)の量子化のための異種ビット幅割り当てを提供する。さらに,3ビットから5ビットの固定した同種ビット幅を用いて実験を行い,平均4.8%の精度で量子化トレーニングアルゴリズム(DoReFaおよびWRPN)の強化におけるSINAREQの汎用性を示し,複数の最先端技術より優れていることを示す。

関連論文リスト

Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
A Practical Mixed Precision Algorithm for Post-Training Quantization [15.391257986051249]
混合精度量子化は、均一な量子化よりも優れた性能効率トレードオフを見つけるための有望な解である。簡単な学習後混合精度アルゴリズムを提案する。我々は,同質のビット幅等価値よりも精度と効率のトレードオフが良い混合精度ネットワークを見つけることができることを示す。
論文参考訳（メタデータ） (2023-02-10T17:47:54Z)
Automatic Network Adaptation for Ultra-Low Uniform-Precision Quantization [6.1664476076961146]
一様精度ニューラルネットワーク量子化は、高計算能力のために高密度に充填された演算ユニットを単純化したため、人気を集めている。層間の量子化誤差の影響に対して不均一な感度を無視し、結果として準最適推論をもたらす。本研究は,超低精度量子化による精度劣化を軽減するために,ニューラルネットワーク構造を調整するニューラルチャネル拡張と呼ばれる新しいニューラルアーキテクチャ探索を提案する。
論文参考訳（メタデータ） (2022-12-21T09:41:25Z)
Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文参考訳（メタデータ） (2022-01-26T18:47:38Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文参考訳（メタデータ） (2021-03-02T03:09:03Z)
A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
論文参考訳（メタデータ） (2020-10-29T22:53:10Z)
Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文参考訳（メタデータ） (2020-09-18T09:13:26Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。