Fugu-MT 論文翻訳(概要): Control Variate Approximation for DNN Accelerators

論文の概要: Control Variate Approximation for DNN Accelerators

arxiv url: http://arxiv.org/abs/2102.09642v1
Date: Thu, 18 Feb 2021 22:11:58 GMT
ステータス: 処理完了
システム内更新日: 2021-02-22 13:21:19.761715
Title: Control Variate Approximation for DNN Accelerators
Title（参考訳）: DNN加速器の制御変数近似
Authors: Georgios Zervakis, Ourania Spantidi, Iraklis Anagnostopoulos, Hussam Amrouch, J\"org Henkel
Abstract要約: 低誤差近似Deep Neural Network (DNN)アクセラレータの制御変位近似技術について紹介する。提案手法は,時間的再学習を必要とせず,推論における近似的乗算による帰納誤差を著しく低減する。
参考スコア（独自算出の注目度）: 3.1921317895626493
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we introduce a control variate approximation technique for low error approximate Deep Neural Network (DNN) accelerators. The control variate technique is used in Monte Carlo methods to achieve variance reduction. Our approach significantly decreases the induced error due to approximate multiplications in DNN inference, without requiring time-exhaustive retraining compared to state-of-the-art. Leveraging our control variate method, we use highly approximated multipliers to generate power-optimized DNN accelerators. Our experimental evaluation on six DNNs, for Cifar-10 and Cifar-100 datasets, demonstrates that, compared to the accurate design, our control variate approximation achieves same performance and 24% power reduction for a merely 0.16% accuracy loss.
Abstract（参考訳）: 本研究では,低誤差近似型ディープニューラルネットワーク(DNN)アクセラレータのための制御変数近似手法を提案する。制御変数法はモンテカルロ法で分散還元を実現するために用いられる。提案手法は,DNN推論における近似乗算による帰納的誤差を,最先端と比較して時間的再学習を必要とせず,大幅に低減する。制御変量法を活用し,高近似乗算器を用いて電力最適化dnn加速器を生成する。また,Cifar-10とCifar-100データセットの6つのDNNに対する実験結果から,制御変数近似が精度0.16%の精度で同じ性能と24%の消費電力削減を実現していることが示された。

関連論文リスト

Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文参考訳（メタデータ） (2023-11-06T22:13:10Z)
Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators through Training with Right-Censored Gaussian Noise [16.470952550714394]
我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
論文参考訳（メタデータ） (2023-07-29T01:06:37Z)
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文参考訳（メタデータ） (2023-01-31T02:46:57Z)
Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文参考訳（メタデータ） (2022-11-22T15:08:05Z)
Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
論文参考訳（メタデータ） (2022-05-16T06:53:14Z)
Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文参考訳（メタデータ） (2021-11-22T23:53:14Z)
Positive/Negative Approximate Multipliers for DNN Accelerators [3.1921317895626493]
本稿では,重みを近似乗算器の適切なモードにマッピングするフィルタ指向近似法を提案する。提案手法では,4つの異なるデータセット上で平均7つのNNで18.33%のエネルギーゲインを達成し,最大精度の低下は1%に留まった。
論文参考訳（メタデータ） (2021-07-20T09:36:24Z)
Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文参考訳（メタデータ） (2021-04-16T19:11:14Z)
Ax-BxP: Approximate Blocked Computation for Precision-Reconfigurable Deep Neural Network Acceleration [3.7371886886933487]
ディープニューラルネットワーク(DNN)の計算とストレージ要件を最適化する一般的な手法として、精度スケーリングが登場した。超低精度(sub-8ビット)DNNの作成への取り組みは、与えられたネットワークレベルの精度を達成するために必要な最小精度がネットワーク間で大きく異なることを示唆している。ビットシリアルハードウェアのような以前の提案は高いオーバーヘッドを発生させ、より精度の低い利点を著しく減らした。
論文参考訳（メタデータ） (2020-11-25T20:00:38Z)
Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。