論文の概要: CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for
Emerging Memories-Based Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2302.03862v1
- Date: Wed, 8 Feb 2023 03:39:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 17:23:43.482722
- Title: CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for
Emerging Memories-Based Deep Neural Networks
- Title（参考訳）: CRAFT:メモリベースディープニューラルネットワークの臨界性を考慮した耐故障性向上技術
- Authors: Thai-Hoang Nguyen, Muhammad Imran, Jaehyuk Choi and Joon-Sung Yang
- Abstract要約: ディープニューラルネットワーク(DNN)は、コンピュータビジョンと自然言語処理アプリケーションにとって最も効果的なプログラミングパラダイムとして登場した。
本稿では,NVMベースのDNNの信頼性を高めるために,CRAFT(Criticality-Aware Fault-Tolerance Enhancement Techniques)を提案する。
- 参考スコア（独自算出の注目度）: 7.566423455230909
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) have emerged as the most effective programming
paradigm for computer vision and natural language processing applications. With
the rapid development of DNNs, efficient hardware architectures for deploying
DNN-based applications on edge devices have been extensively studied. Emerging
Non-Volatile Memories (NVMs), with their better scalability, non-volatility and
good read performance, are found to be promising candidates for deploying DNNs.
However, despite the promise, emerging NVMs often suffer from reliability
issues such as stuck-at faults, which decrease the chip yield/memory lifetime
and severely impact the accuracy of DNNs. A stuck-at cell can be read but not
reprogrammed, thus, stuck-at faults in NVMs may or may not result in errors
depending on the data to be stored. By reducing the number of errors caused by
stuck-at faults, the reliability of a DNN-based system can be enhanced. This
paper proposes CRAFT, i.e., Criticality-Aware Fault-Tolerance Enhancement
Techniques to enhance the reliability of NVM-based DNNs in the presence of
stuck-at faults. A data block remapping technique is used to reduce the impact
of stuck-at faults on DNNs accuracy. Additionally, by performing bit-level
criticality analysis on various DNNs, the critical-bit positions in network
parameters that can significantly impact the accuracy are identified. Based on
this analysis, we propose an encoding method which effectively swaps the
critical bit positions with that of non-critical bits when more errors (due to
stuck-at faults) are present in the critical bits.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンと自然言語処理アプリケーションにとって最も効果的なプログラミングパラダイムとして登場した。
DNNの急速な開発に伴い、エッジデバイスにDNNベースのアプリケーションをデプロイするための効率的なハードウェアアーキテクチャが広く研究されている。
新しい非揮発性メモリ(NVM)は、スケーラビリティ、非揮発性、読み出し性能が向上し、DNNのデプロイに有望な候補であることが判明した。
しかし、その約束にもかかわらず、新しいNVMは、チップの収量/メモリ寿命を減らし、DNNの精度に深刻な影響を及ぼす、故障などの信頼性の問題に悩まされることが多い。
スタッキアットセルは読み上げられるが再プログラムされないため、nvmのスタッキアット障害は、格納するデータによってエラーを生じさせる可能性がある。
故障によるエラー回数を減らすことにより、DNNベースのシステムの信頼性を向上させることができる。
本稿では,NVMベースのDNNの信頼性を高めるために,CRAFT(Criticality-Aware Fault-Tolerance Enhancement Techniques)を提案する。
データブロックリマッピング技術は,DNNの精度への影響を低減するために用いられる。
さらに,様々なDNNに対してビットレベル臨界度解析を行うことで,ネットワークパラメータの臨界ビット位置が精度に大きく影響することを明らかにする。
そこで本研究では,臨界ビットにより多くのエラー(故障のため)が存在する場合に,臨界ビット位置と非臨界ビットの位置とを効果的に交換する符号化手法を提案する。
関連論文リスト
- Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-01-19T23:48:04Z) - Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。
本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。
また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
論文 参考訳（メタデータ） (2023-05-31T19:27:45Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Thales: Formulating and Estimating Architectural Vulnerability Factors
for DNN Accelerators [6.8082132475259405]
本稿では,過渡的エラーが発生した場合のネットワークの挙動を推定し,過渡的エラーが発生した場合の精度を定量化することに焦点を当てる。
既存のレジリエンス精度 (RA) の定式化は, ソフトウェア変数がハードウェアの過渡的欠陥の下で等価な故障確率を持つことを誤って仮定するため, 基本的に不正確であることを示す。
本稿では, 過渡的故障下でのDNN変数の故障確率を推定し, ハードウェアによる正しいRA推定を行うアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-05T23:16:20Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - FAT: Training Neural Networks for Reliable Inference Under Hardware
Faults [3.191587417198382]
本稿では、ニューラルネットワーク(NN)トレーニング中のエラーモデリングを含む、フォールト・アウェア・トレーニング(FAT)と呼ばれる新しい手法を提案し、デバイス上の特定のフォールトモデルに耐性を持たせる。
FATはCIFAR10、GTSRB、SVHN、ImageNetなど多くの分類タスクに対して検証されている。
論文 参考訳（メタデータ） (2020-11-11T16:09:39Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - CodNN -- Robust Neural Networks From Coded Classification [27.38642191854458]
ディープニューラルネットワーク(Deep Neural Networks、DNN)は、現在進行中の情報革命における革命的な力である。
DNNは、敵対的であろうとランダムであろうと、ノイズに非常に敏感である。
これは、DNNのハードウェア実装と、自律運転のような重要なアプリケーションへの展開において、根本的な課題となる。
提案手法により,DNNのデータ層あるいは内部層は誤り訂正符号で符号化され,ノイズ下での計算が成功することが保証される。
論文 参考訳（メタデータ） (2020-04-22T17:07:15Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。