論文の概要: FAQ: Mitigating the Impact of Faults in the Weight Memory of DNN
Accelerators through Fault-Aware Quantization
- arxiv url: http://arxiv.org/abs/2305.12590v1
- Date: Sun, 21 May 2023 23:01:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 19:27:19.242555
- Title: FAQ: Mitigating the Impact of Faults in the Weight Memory of DNN
Accelerators through Fault-Aware Quantization
- Title（参考訳）: faq: フォールトアウェア量子化によるdnn加速器の重み記憶における障害の影響の緩和
- Authors: Muhammad Abdullah Hanif, Muhammad Shafique
- Abstract要約: ディープニューラルネットワーク(DNN)加速器の永久欠陥は、チップ製造プロセスの製造収量に悪影響を及ぼす。
フォールト・アウェア・量子化(FAQ)法による永久断層効果の緩和
FAQは無視可能なオーバーヘッド、すなわち再トレーニングの1エポックの実行に必要な時間の5%以下を発生させる。
- 参考スコア（独自算出の注目度）: 15.344503991760275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Permanent faults induced due to imperfections in the manufacturing process of
Deep Neural Network (DNN) accelerators are a major concern, as they negatively
impact the manufacturing yield of the chip fabrication process. Fault-aware
training is the state-of-the-art approach for mitigating such faults. However,
it incurs huge retraining overheads, specifically when used for large DNNs
trained on complex datasets. To address this issue, we propose a novel
Fault-Aware Quantization (FAQ) technique for mitigating the effects of stuck-at
permanent faults in the on-chip weight memory of DNN accelerators at a
negligible overhead cost compared to fault-aware retraining while offering
comparable accuracy results. We propose a lookup table-based algorithm to
achieve ultra-low model conversion time. We present extensive evaluation of the
proposed approach using five different DNNs, i.e., ResNet-18, VGG11, VGG16,
AlexNet and MobileNetV2, and three different datasets, i.e., CIFAR-10,
CIFAR-100 and ImageNet. The results demonstrate that FAQ helps in maintaining
the baseline accuracy of the DNNs at low and moderate fault rates without
involving costly fault-aware training. For example, for ResNet-18 trained on
the CIFAR-10 dataset, at 0.04 fault rate FAQ offers (on average) an increase of
76.38% in accuracy. Similarly, for VGG11 trained on the CIFAR-10 dataset, at
0.04 fault rate FAQ offers (on average) an increase of 70.47% in accuracy. The
results also show that FAQ incurs negligible overheads, i.e., less than 5% of
the time required to run 1 epoch of retraining. We additionally demonstrate the
efficacy of our technique when used in conjunction with fault-aware retraining
and show that the use of FAQ inside fault-aware retraining enables fast
accuracy recovery.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)アクセラレーターの製造プロセスにおける欠陥に起因する永久欠陥は、チップ製造プロセスの製造収量に悪影響を及ぼすため、大きな懸念事項である。
フォールトアウェアトレーニングは、このような障害を軽減するための最先端のアプローチである。
しかし、複雑なデータセットでトレーニングされた大規模なDNNで特に使用される場合、大きなリトレーニングオーバーヘッドが発生する。
そこで本研究では,dnn加速器のオンチップ重み記憶における永久的障害の影響を,障害対応リトレーニングと比較して不要なオーバーヘッドコストで緩和する新しいフォールトアウェア量子化(faq)手法を提案する。
超低モデル変換時間を実現するためのルックアップテーブルベースアルゴリズムを提案する。
提案手法は,ResNet-18,VGG11,VGG16,AlexNet,MobileNetV2の5つの異なるDNNと,CIFAR-10,CIFAR-100,ImageNetの3つの異なるデータセットを用いて広く評価されている。
その結果,FAQは,DNNの基準精度を低・中程度の故障率で維持する上で,コストのかかる障害対応トレーニングを伴わないことがわかった。
例えば、CIFAR-10データセットでトレーニングされたResNet-18では、FAQが平均して0.04のフォールトレートで76.38%の精度で提供している。
同様に、CIFAR-10データセットでトレーニングされたVGG11では、FAQが(平均で)70.47%の精度向上を提供する。
その結果、FAQは無視できないオーバーヘッド、すなわち再トレーニングの1時間のうち5%以下を発生させることがわかった。
さらに,本手法が障害認識再トレーニングと併用した場合の有効性を実証し,障害認識再トレーニングにおけるFAQの使用が高速な精度回復を可能にすることを示す。
関連論文リスト
- Memory Faults in Activation-sparse Quantized Deep Neural Networks: Analysis and Mitigation using Sharpness-aware Training [0.0]
メモリ障害がアクティベーションスパース量子化DNN(AS QDNN)に与える影響について検討する。
As QDNNは標準QDNNよりも11.13%低い精度を示す。
我々は、メモリ障害の影響を軽減するために、シャープネス対応量子化(SAQ)トレーニングを採用する。
論文 参考訳（メタデータ） (2024-06-15T06:40:48Z) - FARe: Fault-Aware GNN Training on ReRAM-based PIM Accelerators [17.362405869085123]
本稿では,GNN トレーニングにおける障害の影響を緩和する FARe と呼ばれるフォールトアウェアフレームワークを提案する。
FAReは、故障のないReRAMハードウェアでGNNテストの精度を47.6%向上させ、障害のないハードウェアに比べて1%の時間オーバーヘッドで復元可能であることを示す。
論文 参考訳（メタデータ） (2024-01-19T06:56:09Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - RescueSNN: Enabling Reliable Executions on Spiking Neural Network
Accelerators under Permanent Faults [15.115813664357436]
RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。
RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-04-08T15:24:57Z) - FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep
Neural Networks [0.03807314298073299]
アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。
高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。
本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-12-29T06:06:14Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z) - Dynamic R-CNN: Towards High Quality Object Detection via Dynamic
Training [70.2914594796002]
ラベル割り当て基準と回帰損失関数の形状を調整するための動的R-CNNを提案する。
我々はResNet-50-FPNベースラインを1.9%のAPと5.5%のAP$_90$で改善し、余分なオーバーヘッドを伴わない。
論文 参考訳（メタデータ） (2020-04-13T15:20:25Z) - On the Resilience of Deep Learning for Reduced-voltage FPGAs [1.7998044061364233]
本稿では、FPGAの電圧アンダスケーリング関連欠陥の存在下で、Deep Neural Networks(DNN)のトレーニングフェーズのレジリエンスを実験的に評価する。
我々は、最近のFPGAが極低電圧レベルで十分に堅牢であることを発見した。
精度のギャップを埋めるためには、およそ10%のトレーニングが必要になります。
論文 参考訳（メタデータ） (2019-12-26T15:08:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。