論文の概要: RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults

• arxiv url: http://arxiv.org/abs/2304.04041v1
• Date: Sat, 8 Apr 2023 15:24:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 18:05:48.345248
• Title: RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults
• Title（参考訳）: RescueSNN:永続的故障下でのスパイクニューラルネットワーク加速器の信頼性向上
• Authors: Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif, Muhammad Shafique
• Abstract要約: RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 15.115813664357436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To maximize the performance and energy efficiency of Spiking Neural Network (SNN) processing on resource-constrained embedded systems, specialized hardware accelerators/chips are employed. However, these SNN chips may suffer from permanent faults which can affect the functionality of weight memory and neuron behavior, thereby causing potentially significant accuracy degradation and system malfunctioning. Such permanent faults may come from manufacturing defects during the fabrication process, and/or from device/transistor damages (e.g., due to wear out) during the run-time operation. However, the impact of permanent faults in SNN chips and the respective mitigation techniques have not been thoroughly investigated yet. Toward this, we propose RescueSNN, a novel methodology to mitigate permanent faults in the compute engine of SNN chips without requiring additional retraining, thereby significantly cutting down the design time and retraining costs, while maintaining the throughput and quality. The key ideas of our RescueSNN methodology are (1) analyzing the characteristics of SNN under permanent faults; (2) leveraging this analysis to improve the SNN fault-tolerance through effective fault-aware mapping (FAM); and (3) devising lightweight hardware enhancements to support FAM. Our FAM technique leverages the fault map of SNN compute engine for (i) minimizing weight corruption when mapping weight bits on the faulty memory cells, and (ii) selectively employing faulty neurons that do not cause significant accuracy degradation to maintain accuracy and throughput, while considering the SNN operations and processing dataflow. The experimental results show that our RescueSNN improves accuracy by up to 80% while maintaining the throughput reduction below 25% in high fault rate (e.g., 0.5 of the potential fault locations), as compared to running SNNs on the faulty chip without mitigation.
• Abstract（参考訳）: 資源制約のある組込みシステムにおけるスパイキングニューラルネットワーク(snn)処理の性能とエネルギー効率を最大化するため、専用ハードウェアアクセラレータ/チップを用いる。 しかし、これらのSNNチップは、重量記憶機能やニューロンの挙動に影響を及ぼす永続的な障害に悩まされ、結果として潜在的な精度低下とシステム機能不全を引き起こす可能性がある。 このような恒久的な欠陥は、製造工程中の製造欠陥や、実行時の装置/トランジスタ損傷(例えば、摩耗による損傷)から生じる可能性がある。 しかし,SNNチップにおける永久断層の影響と各緩和技術については,まだ十分に研究されていない。 そこで本研究では,SNNチップの計算機エンジンにおける永久欠陥を軽減する手法であるRescueSNNを提案し,スループットと品質を維持しつつ,設計時間と再トレーニングコストを大幅に削減する。 RescueSNN法の主な考え方は,(1)永久断層下でのSNNの特性解析,(2)有効故障認識マッピング(FAM)によるSNN耐故障性の向上,(3)FAMをサポートする軽量ハードウェア拡張の開発である。 我々のFAM技術はSNN計算エンジンの故障マップを利用する 一 不足記憶細胞に重みビットをマッピングする場合の体重減少を最小限にすること 2)SNN操作やデータフローの処理を考慮しつつ,精度とスループットを維持するために,重要な精度劣化を生じさせない故障ニューロンを選択的に採用する。 実験の結果,我々のRescueSNNは高い故障率(潜在的な故障箇所の0.5パーセント)でスループットを25%以下に抑えつつ,最大80%の精度向上を実現していることがわかった。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• Improving Reliability of Spiking Neural Networks through Fault Aware Threshold Voltage Optimization [0.0]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。 Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。 本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
  論文  参考訳（メタデータ） (2023-01-12T19:30:21Z)
• FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks [0.03807314298073299]
  アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。 高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。 本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-12-29T06:06:14Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors [15.115813664357436]
  SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。 高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
  論文  参考訳（メタデータ） (2022-03-10T18:20:28Z)
• ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks considering Unreliable Memories [14.933137030206286]
  スパイキングニューラルネットワーク(SNN)は、教師なし学習能力を持つ低エネルギーを持つ可能性を示している。 ハードウェアが引き起こした障害が記憶にある場合、その処理は精度の低下に悩まされる。 本稿では,オフチップメモリとオンチップメモリの両方におけるフォールトの影響を緩和する新しいフレームワークであるReSpawnを提案する。
  論文  参考訳（メタデータ） (2021-08-23T16:17:33Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators [2.9649783577150837]
  異なるAxDNNの層幅およびビット幅の耐障害性およびエネルギー解析について述べる。 その結果、AxDNNsの耐障害性がエネルギー効率にかかっていることが示された。
  論文  参考訳（メタデータ） (2021-01-08T05:52:12Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。