論文の概要: Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators
through Training with Right-Censored Gaussian Noise
- arxiv url: http://arxiv.org/abs/2307.15853v1
- Date: Sat, 29 Jul 2023 01:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 19:04:44.954168
- Title: Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators
through Training with Right-Censored Gaussian Noise
- Title(参考訳): NVCiM DNN加速器の右補償ガウス雑音による実効性向上
- Authors: Zheyu Yan, Yifan Qin, Wujie Wen, Xiaobo Sharon Hu, Yiyu Shi
- Abstract要約: 我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。
本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
- 参考スコア(独自算出の注目度): 16.470952550714394
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Compute-in-Memory (CiM), built upon non-volatile memory (NVM) devices, is
promising for accelerating deep neural networks (DNNs) owing to its in-situ
data processing capability and superior energy efficiency. Unfortunately, the
well-trained model parameters, after being mapped to NVM devices, can often
exhibit large deviations from their intended values due to device variations,
resulting in notable performance degradation in these CiM-based DNN
accelerators. There exists a long list of solutions to address this issue.
However, they mainly focus on improving the mean performance of CiM DNN
accelerators. How to guarantee the worst-case performance under the impact of
device variations, which is crucial for many safety-critical applications such
as self-driving cars, has been far less explored. In this work, we propose to
use the k-th percentile performance (KPP) to capture the realistic worst-case
performance of DNN models executing on CiM accelerators. Through a formal
analysis of the properties of KPP and the noise injection-based DNN training,
we demonstrate that injecting a novel right-censored Gaussian noise, as opposed
to the conventional Gaussian noise, significantly improves the KPP of DNNs. We
further propose an automated method to determine the optimal hyperparameters
for injecting this right-censored Gaussian noise during the training process.
Our method achieves up to a 26% improvement in KPP compared to the
state-of-the-art methods employed to enhance DNN robustness under the impact of
device variations.
- Abstract(参考訳): 非揮発性メモリ(NVM)デバイス上に構築されたCompute-in-Memory(CiM)は、データ処理能力とエネルギー効率の向上により、ディープニューラルネットワーク(DNN)の高速化を約束している。
残念ながら、よく訓練されたモデルパラメータは、NVMデバイスにマッピングされた後、デバイスの変化によって意図した値から大きくずれることがあり、これらのCiMベースのDNNアクセラレータでは顕著な性能低下が生じる。
この問題に対処するためのソリューションの長いリストがある。
しかし、彼らは主にCiM DNNアクセラレータの平均性能の改善に焦点を当てている。
自動運転車など、安全に重要な多くのアプリケーションにとって欠かせないデバイスバリエーションの影響下での最悪のパフォーマンスを保証するには、はるかに少ない。
本稿では,CiM加速器上で実行されたDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。
KPPの特性とノイズ注入に基づくDNNトレーニングの形式的解析により、従来のガウスノイズとは対照的に、新しいガウスノイズを注入することで、DNNのKPPを大幅に改善することを示した。
さらに, トレーニング過程において, このガウス雑音を注入する最適なハイパーパラメータを自動決定する手法を提案する。
本手法は,デバイス変動の影響下でのDNNロバスト性向上のための最先端手法と比較して,最大26%のKPP改善を実現している。
関連論文リスト
- Compute-in-Memory based Neural Network Accelerators for Safety-Critical
Systems: Worst-Case Scenarios and Protections [8.813981342105151]
本稿では,CiM加速器の最悪の性能をデバイス変動の影響で特定する問題について検討する。
本稿では,対向訓練とノイズ注入訓練を効果的に組み合わせた,A-TRICEという新たな最悪の事例認識訓練手法を提案する。
実験の結果,A-TRICEは機器の変量下での最悪のケース精度を最大33%向上することがわかった。
論文 参考訳(メタデータ) (2023-12-11T05:56:00Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [78.79382890789607]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T17:56:39Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-11-06T22:13:10Z) - Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators [11.832487701641723]
非揮発性メモリ(NVM)デバイスは、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。
ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。
提案手法は,既存の最先端手法よりも46.71%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-23T22:56:26Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - Energy-efficient DNN Inference on Approximate Accelerators Through
Formal Property Exploration [1.0323063834827415]
本稿では、近似型ディープニューラルネットワーク(DNN)のための重み付け近似マッピングのための自動フレームワークを提案する。
MAC単位レベルでは、エネルギー利得の点で既にエネルギー効率のよいマッピングを2ドル以上超えた。
論文 参考訳(メタデータ) (2022-07-25T17:07:00Z) - Computing-In-Memory Neural Network Accelerators for Safety-Critical
Systems: Can Small Device Variations Be Disastrous? [15.760502065894778]
NVMデバイスは様々な非理想性、特に製造欠陥やデバイスの動作によるサイクル・ツー・サイクルの変動によるデバイス・ツー・デバイスの変化に悩まされている。
本稿では,高次元空間におけるデバイス変動の特定の組み合わせを効果的に見つける方法を提案する。
論文 参考訳(メタデータ) (2022-07-15T17:38:01Z) - MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators [5.553959304125023]
我々は,行列ベクトル乗算(MVM)を計算するためにmemristorを用いたDNNの平均二乗誤差を理論的に解析する。
DNNモデルのサイズを小さくする必要性から量子化ノイズと、中間値のプログラミングにおける可変性から生じるプログラミングノイズの両方を考慮に入れている。
提案手法はモンテカルロシミュレーションよりも約2桁高速であり, 与えられた電力制約に対して最小限の誤差を達成するために, 実装パラメータを最適化することができる。
論文 参考訳(メタデータ) (2022-05-03T18:10:43Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-22T23:53:14Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳(メタデータ) (2020-06-24T18:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。