論文の概要: Compute-in-Memory based Neural Network Accelerators for Safety-Critical
Systems: Worst-Case Scenarios and Protections
- arxiv url: http://arxiv.org/abs/2312.06137v1
- Date: Mon, 11 Dec 2023 05:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 16:54:40.810945
- Title: Compute-in-Memory based Neural Network Accelerators for Safety-Critical
Systems: Worst-Case Scenarios and Protections
- Title（参考訳）: 安全クリティカルシステムのための計算メモリベースニューラルネットワーク加速器:最悪のシナリオと保護
- Authors: Zheyu Yan, Xiaobo Sharon Hu, Yiyu Shi
- Abstract要約: 本稿では,CiM加速器の最悪の性能をデバイス変動の影響で特定する問題について検討する。
本稿では,対向訓練とノイズ注入訓練を効果的に組み合わせた,A-TRICEという新たな最悪の事例認識訓練手法を提案する。
実験の結果,A-TRICEは機器の変量下での最悪のケース精度を最大33%向上することがわかった。
- 参考スコア（独自算出の注目度）: 8.813981342105151
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Emerging non-volatile memory (NVM)-based Computing-in-Memory (CiM)
architectures show substantial promise in accelerating deep neural networks
(DNNs) due to their exceptional energy efficiency. However, NVM devices are
prone to device variations. Consequently, the actual DNN weights mapped to NVM
devices can differ considerably from their targeted values, inducing
significant performance degradation. Many existing solutions aim to optimize
average performance amidst device variations, which is a suitable strategy for
general-purpose conditions. However, the worst-case performance that is crucial
for safety-critical applications is largely overlooked in current research. In
this study, we define the problem of pinpointing the worst-case performance of
CiM DNN accelerators affected by device variations. Additionally, we introduce
a strategy to identify a specific pattern of the device value deviations in the
complex, high-dimensional value deviation space, responsible for this
worst-case outcome. Our findings reveal that even subtle device variations can
precipitate a dramatic decline in DNN accuracy, posing risks for CiM-based
platforms in supporting safety-critical applications. Notably, we observe that
prevailing techniques to bolster average DNN performance in CiM accelerators
fall short in enhancing worst-case scenarios. In light of this issue, we
propose a novel worst-case-aware training technique named A-TRICE that
efficiently combines adversarial training and noise-injection training with
right-censored Gaussian noise to improve the DNN accuracy in the worst-case
scenarios. Our experimental results demonstrate that A-TRICE improves the
worst-case accuracy under device variations by up to 33%.
- Abstract（参考訳）: 新たな非揮発性メモリ(NVM)ベースのComputer-in-Memory(CiM)アーキテクチャは、その異常なエネルギー効率のため、ディープニューラルネットワーク(DNN)を加速する上で大きな可能性を秘めている。
しかし、NVMデバイスはデバイスのバリエーションが多い。
したがって、NVMデバイスにマッピングされた実際のDNN重みは、ターゲット値と大きく異なり、大幅な性能劣化を引き起こす。
多くの既存ソリューションは、汎用的条件に適した戦略であるデバイス変動中の平均性能を最適化することを目的としている。
しかし、安全クリティカルなアプリケーションにとって重要な最悪の性能は、現在の研究でほとんど見過ごされている。
そこで本研究では,CiM DNNアクセラレータの最低ケース性能をデバイス変動の影響でピンポイントする問題を定義した。
さらに、この最悪の結果の原因となる複雑な高次元値偏差空間におけるデバイス値偏差の特定のパターンを特定する戦略を導入する。
以上の結果から,微妙なデバイス変動であってもDNNの精度が劇的に低下し,CiMベースのプラットフォームが安全クリティカルなアプリケーションをサポートするリスクが生じる可能性が示唆された。
特に,CiM加速器における平均DNN性能を向上する技術は,最悪のシナリオを改善するには不十分である。
本稿では,A-TRICE(A-TRICE)という,対向訓練と雑音注入訓練と右集音ガウス雑音を効率よく組み合わせ,最悪のシナリオにおけるDNNの精度を向上させる手法を提案する。
実験の結果,A-TRICEは機器の変量下での最悪のケース精度を最大33%向上することがわかった。
関連論文リスト
- Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators
through Training with Right-Censored Gaussian Noise [16.470952550714394]
我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。
本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
論文 参考訳（メタデータ） (2023-07-29T01:06:37Z) - Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。
本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。
また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
論文 参考訳（メタデータ） (2023-05-31T19:27:45Z) - Negative Feedback Training: A Novel Concept to Improve Robustness of NVCIM DNN Accelerators [11.832487701641723]
非揮発性メモリ(NVM)デバイスは、Deep Neural Network(DNN)推論の実行時のエネルギー効率とレイテンシが優れている。
ネットワークから取得したマルチスケールノイズ情報を活用した負フィードバックトレーニング(NFT)を提案する。
提案手法は,既存の最先端手法よりも46.71%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-05-23T22:56:26Z) - Computing-In-Memory Neural Network Accelerators for Safety-Critical
Systems: Can Small Device Variations Be Disastrous? [15.760502065894778]
NVMデバイスは様々な非理想性、特に製造欠陥やデバイスの動作によるサイクル・ツー・サイクルの変動によるデバイス・ツー・デバイスの変化に悩まされている。
本稿では,高次元空間におけるデバイス変動の特定の組み合わせを効果的に見つける方法を提案する。
論文 参考訳（メタデータ） (2022-07-15T17:38:01Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural
Accelerators with Application to Neural Architecture Search [25.841113960607334]
新興デバイスベースのコンピューティングインメモリ(CiM)は、高エネルギー効率ディープニューラルネットワーク(DNN)計算において有望な候補であることが証明されている。
ほとんどの新興デバイスは不確実な問題に悩まされており、結果として、保存される実際のデータと、それが設計される重み付け値との違いが生じる。
これにより、トレーニングされたモデルから実際にデプロイされたプラットフォームへの精度低下につながる。
論文 参考訳（メタデータ） (2021-07-06T23:29:36Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。