論文の概要: Memory Faults in Activation-sparse Quantized Deep Neural Networks: Analysis and Mitigation using Sharpness-aware Training
- arxiv url: http://arxiv.org/abs/2406.10528v1
- Date: Sat, 15 Jun 2024 06:40:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 00:02:58.960761
- Title: Memory Faults in Activation-sparse Quantized Deep Neural Networks: Analysis and Mitigation using Sharpness-aware Training
- Title（参考訳）: 活性化スパース量子化深部ニューラルネットワークにおける記憶障害:シャープネス学習を用いた解析と緩和
- Authors: Akul Malhotra, Sumeet Kumar Gupta,
- Abstract要約: メモリ障害がアクティベーションスパース量子化DNN(AS QDNN)に与える影響について検討する。
As QDNNは標準QDNNよりも11.13%低い精度を示す。
我々は、メモリ障害の影響を軽減するために、シャープネス対応量子化(SAQ)トレーニングを採用する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Improving the hardware efficiency of deep neural network (DNN) accelerators with techniques such as quantization and sparsity enhancement have shown an immense promise. However, their inference accuracy in non-ideal real-world settings (such as in the presence of hardware faults) is yet to be systematically analyzed. In this work, we investigate the impact of memory faults on activation-sparse quantized DNNs (AS QDNNs). We show that a high level of activation sparsity comes at the cost of larger vulnerability to faults, with AS QDNNs exhibiting up to 11.13% lower accuracy than the standard QDNNs. We establish that the degraded accuracy correlates with a sharper minima in the loss landscape for AS QDNNs, which makes them more sensitive to perturbations in the weight values due to faults. Based on this observation, we employ sharpness-aware quantization (SAQ) training to mitigate the impact of memory faults. The AS and standard QDNNs trained with SAQ have up to 19.50% and 15.82% higher inference accuracy, respectively compared to their conventionally trained equivalents. Moreover, we show that SAQ-trained AS QDNNs show higher accuracy in faulty settings than standard QDNNs trained conventionally. Thus, sharpness-aware training can be instrumental in achieving sparsity-related latency benefits without compromising on fault tolerance.
- Abstract（参考訳）: 量子化や空間拡張といった技術でディープニューラルネットワーク(DNN)アクセラレーターのハードウェア効率を向上させることは、非常に有望である。
しかし,非理想的実世界の環境での推論精度(ハードウェア故障の有無など)は,まだ体系的に分析されていない。
本研究では,メモリ障害がアクティベーションスパース量子化DNN(AS QDNN)に与える影響について検討する。
As QDNNは標準QDNNよりも11.13%低い精度を示す。
劣化した精度はAS QDNNの損失ランドスケープにおいてよりシャープな最小値と相関し, 断層による重み値の摂動に敏感であることを示す。
この観測に基づいて、記憶障害の影響を軽減するため、シャープネス対応量子化(SAQ)トレーニングを実践する。
SAQで訓練されたASと標準QDNNは、従来の訓練された等価値と比較して、それぞれ19.50%と15.82%高い推論精度を持つ。
さらに,SAQトレーニングされたASQDNNは,従来トレーニングされていた標準QDNNよりも,障害設定の精度が高いことを示す。
このように、シャープネスを意識したトレーニングは、フォールトトレランスを損なうことなく、スパーシティ関連レイテンシのメリットを達成するのに役立てることができる。
関連論文リスト
- RescueSNN: Enabling Reliable Executions on Spiking Neural Network
Accelerators under Permanent Faults [15.115813664357436]
RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。
RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-04-08T15:24:57Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep
Neural Networks [0.03807314298073299]
アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。
高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。
本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-12-29T06:06:14Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep
Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。
通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。
また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
論文 参考訳（メタデータ） (2021-10-06T16:48:48Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - FAT: Training Neural Networks for Reliable Inference Under Hardware
Faults [3.191587417198382]
本稿では、ニューラルネットワーク(NN)トレーニング中のエラーモデリングを含む、フォールト・アウェア・トレーニング(FAT)と呼ばれる新しい手法を提案し、デバイス上の特定のフォールトモデルに耐性を持たせる。
FATはCIFAR10、GTSRB、SVHN、ImageNetなど多くの分類タスクに対して検証されている。
論文 参考訳（メタデータ） (2020-11-11T16:09:39Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z) - On Calibration of Mixup Training for Deep Neural Networks [1.6242924916178283]
我々は、Mixupが必ずしも校正を改善していないという実証的な証拠を論じ、提示する。
我々の損失はベイズ決定理論にインスパイアされ、確率的モデリングの損失を設計するための新しいトレーニングフレームワークが導入された。
キャリブレーション性能を一貫した改善を施した最先端の精度を提供する。
論文 参考訳（メタデータ） (2020-03-22T16:54:31Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。