論文の概要: Bit Error Robustness for Energy-Efficient DNN Accelerators

• arxiv url: http://arxiv.org/abs/2006.13977v3
• Date: Fri, 9 Apr 2021 15:24:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:05:14.049667
• Title: Bit Error Robustness for Energy-Efficient DNN Accelerators
• Title（参考訳）: エネルギー効率dnn加速器のビットエラーロバスト性
• Authors: David Stutz, Nandhini Chandramoorthy, Matthias Hein, Bernt Schiele
• Abstract要約: 本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
• 参考スコア（独自算出の注目度）: 93.58572811484022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network (DNN) accelerators received considerable attention in past years due to saved energy compared to mainstream hardware. Low-voltage operation of DNN accelerators allows to further reduce energy consumption significantly, however, causes bit-level failures in the memory storing the quantized DNN weights. In this paper, we show that a combination of robust fixed-point quantization, weight clipping, and random bit error training (RandBET) improves robustness against random bit errors in (quantized) DNN weights significantly. This leads to high energy savings from both low-voltage operation as well as low-precision quantization. Our approach generalizes across operating voltages and accelerators, as demonstrated on bit errors from profiled SRAM arrays. We also discuss why weight clipping alone is already a quite effective way to achieve robustness against bit errors. Moreover, we specifically discuss the involved trade-offs regarding accuracy, robustness and precision: Without losing more than 1% in accuracy compared to a normally trained 8-bit DNN, we can reduce energy consumption on CIFAR-10 by 20%. Higher energy savings of, e.g., 30%, are possible at the cost of 2.5% accuracy, even for 4-bit DNNs.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)アクセラレーターは、メインストリームのハードウェアと比較して省エネのため、過去数年間でかなりの注目を集めた。 DNN加速器の低電圧動作はエネルギー消費を大幅に削減するが、量子化されたDNN重みを記憶するメモリのビットレベル障害を引き起こす。 本稿では,ランダムビット誤りに対するロバスト不動点量子化,ウェイトクリッピング,ランダムビット誤りトレーニング(randbet)の組み合わせにより,dnn重みのランダムビット誤りに対するロバスト性が著しく向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。 提案手法は,SRAMアレイのビット誤りを実証し,動作電圧と加速器をまたいで一般化する。 また,ビット誤りに対するロバスト性を実現する上で,ウェイトクリップのみがすでに有効な方法である理由についても論じる。 また、精度、ロバスト性、正確性に関するトレードオフについても具体的に検討した。通常訓練された8ビットdnnと比較して1%以上の精度を損なうことなく、cifar-10のエネルギー消費量を20%削減できる。 例えば30%の高エネルギー節約は、4ビットのDNNであっても2.5%の精度で可能である。

関連論文リスト

• NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [52.51014498593644]
  ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。 我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。 1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-29T11:38:22Z)
• FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks [0.03807314298073299]
  アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。 高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。 本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-29T06:06:14Z)
• SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors [15.115813664357436]
  SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。 高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
  論文  参考訳（メタデータ） (2022-03-10T18:20:28Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
  We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。 そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。 さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
  論文  参考訳（メタデータ） (2020-05-07T12:12:49Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。