論文の概要: SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors

• arxiv url: http://arxiv.org/abs/2203.05523v1
• Date: Thu, 10 Mar 2022 18:20:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 15:27:01.357183
• Title: SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors
• Title（参考訳）: SoftSNN: ソフトエラー下でのスパイクニューラルネットワーク加速器の低コストフォールトトレランス
• Authors: Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif, Muhammad Shafique
• Abstract要約: SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。 高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
• 参考スコア（独自算出の注目度）: 15.115813664357436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Specialized hardware accelerators have been designed and employed to maximize the performance efficiency of Spiking Neural Networks (SNNs). However, such accelerators are vulnerable to transient faults (i.e., soft errors), which occur due to high-energy particle strikes, and manifest as bit flips at the hardware layer. These errors can change the weight values and neuron operations in the compute engine of SNN accelerators, thereby leading to incorrect outputs and accuracy degradation. However, the impact of soft errors in the compute engine and the respective mitigation techniques have not been thoroughly studied yet for SNNs. A potential solution is employing redundant executions (re-execution) for ensuring correct outputs, but it leads to huge latency and energy overheads. Toward this, we propose SoftSNN, a novel methodology to mitigate soft errors in the weight registers (synapses) and neurons of SNN accelerators without re-execution, thereby maintaining the accuracy with low latency and energy overheads. Our SoftSNN methodology employs the following key steps: (1) analyzing the SNN characteristics under soft errors to identify faulty weights and neuron operations, which are required for recognizing faulty SNN behavior; (2) a Bound-and-Protect technique that leverages this analysis to improve the SNN fault tolerance by bounding the weight values and protecting the neurons from faulty operations; and (3) devising lightweight hardware enhancements for the neural hardware accelerator to efficiently support the proposed technique. The experimental results show that, for a 900-neuron network with even a high fault rate, our SoftSNN maintains the accuracy degradation below 3%, while reducing latency and energy by up to 3x and 2.3x respectively, as compared to the re-execution technique.
• Abstract（参考訳）: 特殊なハードウェアアクセラレータが設計され、スパイキングニューラルネットワーク(snn)の性能を最大化するために使用されている。 しかし、そのような加速器は、高エネルギー粒子衝突によって生じる過渡的断層(ソフトエラー)に弱いため、ハードウェア層でビットフリップとして現れる。 これらの誤差はSNN加速器の計算エンジンの重み値とニューロン操作を変化させ、誤った出力と精度の低下をもたらす。 しかし、SNNでは、計算エンジンにおけるソフトエラーの影響と各緩和技術が十分に研究されていない。 潜在的な解決策は、正しいアウトプットを保証するために冗長な実行(再実行)を採用することですが、大きなレイテンシとエネルギーオーバーヘッドをもたらします。 そこで本研究では,SNNアクセラレータの重みレジスタ(シナプス)とニューロンのソフトエラーを再実行することなく軽減し,低レイテンシとエネルギーオーバーヘッドで精度を維持する手法であるSoftSNNを提案する。 Our SoftSNN methodology employs the following key steps: (1) analyzing the SNN characteristics under soft errors to identify faulty weights and neuron operations, which are required for recognizing faulty SNN behavior; (2) a Bound-and-Protect technique that leverages this analysis to improve the SNN fault tolerance by bounding the weight values and protecting the neurons from faulty operations; and (3) devising lightweight hardware enhancements for the neural hardware accelerator to efficiently support the proposed technique. 実験の結果,高い故障率をもった900ニューロンネットワークの場合,SoftSNNは3%未満の精度低下を維持しつつ,それぞれ3倍,2.3倍の遅延とエネルギー削減を実現していることがわかった。

関連論文リスト

• RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults [15.115813664357436]
  RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-04-08T15:24:57Z)
• Improving Reliability of Spiking Neural Networks through Fault Aware Threshold Voltage Optimization [0.0]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。 Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。 本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
  論文  参考訳（メタデータ） (2023-01-12T19:30:21Z)
• FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks [0.03807314298073299]
  アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。 高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。 本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-29T06:06:14Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
  非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。 ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。 本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。 そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
  論文  参考訳（メタデータ） (2022-05-16T06:53:14Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。