論文の概要: Improving Reliability of Spiking Neural Networks through Fault Aware
Threshold Voltage Optimization
- arxiv url: http://arxiv.org/abs/2301.05266v1
- Date: Thu, 12 Jan 2023 19:30:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 14:35:45.508065
- Title: Improving Reliability of Spiking Neural Networks through Fault Aware
Threshold Voltage Optimization
- Title（参考訳）: 障害対応しきい値電圧最適化によるスパイクニューラルネットワークの信頼性向上
- Authors: Ayesha Siddique, Khaza Anuarul Hoque
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。
Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。
本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Spiking neural networks have made breakthroughs in computer vision by lending
themselves to neuromorphic hardware. However, the neuromorphic hardware lacks
parallelism and hence, limits the throughput and hardware acceleration of SNNs
on edge devices. To address this problem, many systolic-array SNN accelerators
(systolicSNNs) have been proposed recently, but their reliability is still a
major concern. In this paper, we first extensively analyze the impact of
permanent faults on the SystolicSNNs. Then, we present a novel fault mitigation
method, i.e., fault-aware threshold voltage optimization in retraining
(FalVolt). FalVolt optimizes the threshold voltage for each layer in retraining
to achieve the classification accuracy close to the baseline in the presence of
faults. To demonstrate the effectiveness of our proposed mitigation, we
classify both static (i.e., MNIST) and neuromorphic datasets (i.e., N-MNIST and
DVS Gesture) on a 256x256 systolicSNN with stuck-at faults. We empirically show
that the classification accuracy of a systolicSNN drops significantly even at
extremely low fault rates (as low as 0.012\%). Our proposed FalVolt mitigation
method improves the performance of systolicSNNs by enabling them to operate at
fault rates of up to 60\%, with a negligible drop in classification accuracy
(as low as 0.1\%). Our results show that FalVolt is 2x faster compared to other
state-of-the-art techniques common in artificial neural networks (ANNs), such
as fault-aware pruning and retraining without threshold voltage optimization.
- Abstract（参考訳）: スパイクニューラルネットワークは、ニューロモルフィックなハードウェアに自らを貸すことによって、コンピュータビジョンを突破した。
しかし、ニューロモルフィックハードウェアは並列性に欠けており、エッジデバイス上でのSNNのスループットとハードウェアアクセラレーションを制限している。
この問題に対処するために、最近多くのシストリクスアレイSNNアクセラレーター(シストリクスSNN)が提案されているが、その信頼性は依然として大きな懸念点である。
本稿では,本研究で初めて,永久断層がsystolicsnnに与える影響を詳細に解析した。
次に,新しい障害緩和法,すなわち再訓練時の障害対応しきい値電圧最適化(falvolt)を提案する。
FalVoltは、リトレーニング中の各レイヤのしきい値電圧を最適化し、障害発生時のベースラインに近い分類精度を達成する。
提案手法の有効性を実証するため,静的(MNIST)とニューロモルフィックデータセット(N-MNISTとDVS Gesture)を256x256 systolicSNNで分類した。
実験の結果,systolicsnnの分類精度は,極端に低い故障率(0.012\%)でも有意に低下することがわかった。
提案手法は,最大60\%の故障率で動作可能とし,分類精度の低下(0.1\%以下)を回避し,systolicsnnの性能を向上させる。
以上の結果から,FalVoltは,しきい値電圧の最適化を伴わないプルーニングや再トレーニングなど,ニューラルネットワーク(ANN)で一般的な技術に比べて2倍高速であることがわかった。
関連論文リスト
- Cost-Effective Fault Tolerance for CNNs Using Parameter Vulnerability Based Hardening and Pruning [0.4660328753262075]
本稿では,ニューラルネットワークに誤り訂正を直接組み込むことにより,CNNのモデルレベル硬化手法を提案する。
提案手法は,TMRに基づく補正とほぼ同等の耐故障性を示すが,オーバーヘッドは大幅に減少する。
注目すべきは、硬化したpruned CNNは、硬化したun-prunedよりも最大24%高速であることだ。
論文 参考訳（メタデータ） (2024-05-17T09:42:44Z) - NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural
Network Inference in Low-Voltage Regimes [52.51014498593644]
ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。
我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。
1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
論文 参考訳（メタデータ） (2023-06-29T11:38:22Z) - RescueSNN: Enabling Reliable Executions on Spiking Neural Network
Accelerators under Permanent Faults [15.115813664357436]
RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。
RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-04-08T15:24:57Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - enpheeph: A Fault Injection Framework for Spiking and Compressed Deep
Neural Networks [10.757663798809144]
スパイク・圧縮型ディープニューラルネットワーク(DNN)の故障注入フレームワークであるenpheephについて述べる。
ランダムかつ増加する故障数を注入することにより,DNNはパラメータあたり7 x 10 (-7) の故障率で精度を低下させることができ,精度は40%以上低下することを示した。
論文 参考訳（メタデータ） (2022-07-31T00:30:59Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network
Accelerators under Soft Errors [15.115813664357436]
SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。
高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
論文 参考訳（メタデータ） (2022-03-10T18:20:28Z) - ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks
considering Unreliable Memories [14.933137030206286]
スパイキングニューラルネットワーク(SNN)は、教師なし学習能力を持つ低エネルギーを持つ可能性を示している。
ハードウェアが引き起こした障害が記憶にある場合、その処理は精度の低下に悩まされる。
本稿では,オフチップメモリとオンチップメモリの両方におけるフォールトの影響を緩和する新しいフレームワークであるReSpawnを提案する。
論文 参考訳（メタデータ） (2021-08-23T16:17:33Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。