論文の概要: Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators

• arxiv url: http://arxiv.org/abs/2104.08323v1
• Date: Fri, 16 Apr 2021 19:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:19:15.509011
• Title: Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators
• Title（参考訳）: ランダム・逆ビット誤差ロバスト性:エネルギー効率よくセキュアなDNN加速器
• Authors: David Stutz, Nandhini Chandramoorthy, Matthias Hein, Bernt Schiele
• Abstract要約: 固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
• 参考スコア（独自算出の注目度）: 105.60654479548356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network (DNN) accelerators received considerable attention in recent years due to the potential to save energy compared to mainstream hardware. Low-voltage operation of DNN accelerators allows to further reduce energy consumption significantly, however, causes bit-level failures in the memory storing the quantized DNN weights. Furthermore, DNN accelerators have been shown to be vulnerable to adversarial attacks on voltage controllers or individual bits. In this paper, we show that a combination of robust fixed-point quantization, weight clipping, as well as random bit error training (RandBET) or adversarial bit error training (AdvBET) improves robustness against random or adversarial bit errors in quantized DNN weights significantly. This leads not only to high energy savings for low-voltage operation as well as low-precision quantization, but also improves security of DNN accelerators. Our approach generalizes across operating voltages and accelerators, as demonstrated on bit errors from profiled SRAM arrays, and achieves robustness against both targeted and untargeted bit-level attacks. Without losing more than 0.8%/2% in test accuracy, we can reduce energy consumption on CIFAR10 by 20%/30% for 8/4-bit quantization using RandBET. Allowing up to 320 adversarial bit errors, AdvBET reduces test error from above 90% (chance level) to 26.22% on CIFAR10.
• Abstract（参考訳）: 近年、Deep Neural Network(DNN)アクセラレーターは、主流のハードウェアと比較してエネルギー節約の可能性から、かなりの注目を集めている。 DNN加速器の低電圧動作はエネルギー消費を大幅に削減するが、量子化されたDNN重みを記憶するメモリのビットレベル障害を引き起こす。 さらに、dnn加速器は電圧制御装置や個々のビットに対する逆攻撃に弱いことが示されている。 本稿では,ロバストな固定点量子化,ウェイトクリッピング,およびランダムビット誤り訓練(RandBET)と逆ビット誤り訓練(AdvBET)を組み合わせることで,量子化されたDNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を大幅に向上することを示す。 これは低電圧運転や低精度量子化のための高エネルギー化だけでなく、DNN加速器の安全性の向上にも繋がる。 提案手法は,SRAMアレイの動作電圧やアクセルのビット誤差を一般化し,ターゲットレベルとターゲットレベルの両方に対するロバスト性を実現する。 テスト精度の0.8%/2%以上を失うことなく、RandBETを用いた8/4ビット量子化ではCIFAR10のエネルギー消費量を20%/30%削減できる。 AdvBETは最大320ビットの誤りを許容し、テストエラーを90%以上(チャンスレベル)からCIFAR10で26.22%に削減する。

関連論文リスト

• NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [50.00272243518593]
  ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は問題の多いままである。 我々は低電圧状態におけるエネルギー精度のトレードオフを処理する新しいアドオンモジュールであるNeuralFuseを開発した。 1%のビットエラー率で、NeuralFuseはアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-29T11:38:22Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks [0.03807314298073299]
  アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。 高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。 本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-29T06:06:14Z)
• SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors [15.115813664357436]
  SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。 高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
  論文  参考訳（メタデータ） (2022-03-10T18:20:28Z)
• Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators [2.9649783577150837]
  異なるAxDNNの層幅およびビット幅の耐障害性およびエネルギー解析について述べる。 その結果、AxDNNsの耐障害性がエネルギー効率にかかっていることが示された。
  論文  参考訳（メタデータ） (2021-01-08T05:52:12Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
  本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。