論文の概要: Energy awareness in low precision neural networks
- arxiv url: http://arxiv.org/abs/2202.02783v1
- Date: Sun, 6 Feb 2022 14:44:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 09:38:17.311476
- Title: Energy awareness in low precision neural networks
- Title（参考訳）: 低精度ニューラルネットワークにおけるエネルギー認識
- Authors: Nurit Spingarn Eliezer, Ron Banner, Elad Hoffer, Hilla Ben-Yaakov and
Tomer Michaeli
- Abstract要約: 電力消費は、エンドデバイスにディープニューラルネットワーク(DNN)を配置する際の大きな障害である。
低消費電力の固定精度変種を用いて全精度ネットワークを近似するための簡単なアプローチであるPANNを提案する。
従来の手法とは対照的に、PANNは2ビット量子化変量器のパワーバッジで作業する場合でも、ネットワークの完全精度バージョンであるW.r.t.の精度をわずかに低下させるだけである。
- 参考スコア（独自算出の注目度）: 41.69995577490698
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Power consumption is a major obstacle in the deployment of deep neural
networks (DNNs) on end devices. Existing approaches for reducing power
consumption rely on quite general principles, including avoidance of
multiplication operations and aggressive quantization of weights and
activations. However, these methods do not take into account the precise power
consumed by each module in the network, and are therefore not optimal. In this
paper we develop accurate power consumption models for all arithmetic
operations in the DNN, under various working conditions. We reveal several
important factors that have been overlooked to date. Based on our analysis, we
present PANN (power-aware neural network), a simple approach for approximating
any full-precision network by a low-power fixed-precision variant. Our method
can be applied to a pre-trained network, and can also be used during training
to achieve improved performance. In contrast to previous methods, PANN incurs
only a minor degradation in accuracy w.r.t. the full-precision version of the
network, even when working at the power-budget of a 2-bit quantized variant. In
addition, our scheme enables to seamlessly traverse the power-accuracy
trade-off at deployment time, which is a major advantage over existing
quantization methods that are constrained to specific bit widths.
- Abstract（参考訳）: 電力消費は、エンドデバイスにディープニューラルネットワーク(DNN)を配置する際の大きな障害である。
既存の消費電力削減のアプローチは、乗算操作の回避や重みとアクティベーションの積極的な定量化など、非常に一般的な原則に依存している。
しかし、これらの手法はネットワーク内の各モジュールが消費する正確な電力を考慮せず、したがって最適ではない。
本稿では, DNNにおける演算処理の正確な電力消費モデルについて, 様々な作業条件下で検討する。
これまで見過ごされてきたいくつかの重要な要因を明らかにします。
本分析に基づき,低消費電力固定精度変種を用いて全精度ネットワークを近似するための単純なアプローチであるPANN(Power-Aware Neural Network)を提案する。
本手法は,事前学習ネットワークに適用可能であり,訓練中にも性能向上を図ることができる。
従来の手法とは対照的に、PANNは2ビット量子化変量器のパワーバッジで作業する場合でも、ネットワークの完全精度バージョンであるW.r.t.の精度をわずかに低下させるだけである。
さらに,本方式では,特定のビット幅に制約された既存の量子化手法よりも大きな利点となる,電源精度トレードオフをシームレスにトラバースすることが可能である。
関連論文リスト
- Energy Efficient Hardware Acceleration of Neural Networks with
Power-of-Two Quantisation [0.0]
我々は、Zynq UltraScale + MPSoC ZCU104 FPGA上に実装されたPoT重みを持つハードウェアニューラルネットワークアクセラレーターが、均一量子化バージョンよりも少なくとも1.4x$のエネルギー効率を持つことを示す。
論文 参考訳（メタデータ） (2022-09-30T06:33:40Z) - CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for
Energy-Efficient Low-precision Deep Convolutional Neural Networks [13.520972975766313]
本研究では、重みの非一様量子化を利用して、エネルギー効率の低い深部畳み込みニューラルネットワーク推論を可能にする枠組みを提案する。
また、重みのビット幅を圧縮する新しいデータ表現形式Encoded Low-Precision Binary Signed Digitを提案する。
論文 参考訳（メタデータ） (2022-07-31T01:34:56Z) - Standard Deviation-Based Quantization for Deep Neural Networks [17.495852096822894]
深層ニューラルネットワークの量子化は、推論コストを低減するための有望なアプローチである。
ネットワークの重みと活性化分布の知識を用いて量子化間隔(離散値)を学習する新しいフレームワークを提案する。
提案手法は,ネットワークのパラメータを同時に推定し,量子化過程におけるプルーニング比を柔軟に調整する。
論文 参考訳（メタデータ） (2022-02-24T23:33:47Z) - On the Tradeoff between Energy, Precision, and Accuracy in Federated
Quantized Neural Networks [68.52621234990728]
無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。
本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。
我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
論文 参考訳（メタデータ） (2021-11-15T17:00:03Z) - Physics-Informed Neural Networks for AC Optimal Power Flow [0.0]
本稿では,AC-OPFの結果を正確に推定する物理インフォームドニューラルネットワークを初めて紹介する。
物理インフォームドニューラルネットワークは,従来のニューラルネットワークよりも精度が高く,制約違反も少ないことを示す。
論文 参考訳（メタデータ） (2021-10-06T11:44:59Z) - Low-Precision Training in Logarithmic Number System using Multiplicative
Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。
エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。
対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文 参考訳（メタデータ） (2021-06-26T00:32:17Z) - ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。
エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。
ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文 参考訳（メタデータ） (2020-10-24T05:09:14Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - A Spike in Performance: Training Hybrid-Spiking Neural Networks with
Quantized Activation Functions [6.574517227976925]
Spiking Neural Network(SNN)は、エネルギー効率の高いコンピューティングに対する有望なアプローチである。
我々は、非スパイキングネットワークをSNNに変換する際に、最先端の精度を維持する方法を示す。
論文 参考訳（メタデータ） (2020-02-10T05:24:27Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。