論文の概要: ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks considering Unreliable Memories

• arxiv url: http://arxiv.org/abs/2108.10271v1
• Date: Mon, 23 Aug 2021 16:17:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:18:36.696639
• Title: ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks considering Unreliable Memories
• Title（参考訳）: ReSpawn:信頼できない記憶を考慮したスパイクニューラルネットワークのエネルギー効率の良いフォールトトレランス
• Authors: Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif, Muhammad Shafique
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、教師なし学習能力を持つ低エネルギーを持つ可能性を示している。 ハードウェアが引き起こした障害が記憶にある場合、その処理は精度の低下に悩まされる。 本稿では,オフチップメモリとオンチップメモリの両方におけるフォールトの影響を緩和する新しいフレームワークであるReSpawnを提案する。
• 参考スコア（独自算出の注目度）: 14.933137030206286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs) have shown a potential for having low energy with unsupervised learning capabilities due to their biologically-inspired computation. However, they may suffer from accuracy degradation if their processing is performed under the presence of hardware-induced faults in memories, which can come from manufacturing defects or voltage-induced approximation errors. Since recent works still focus on the fault-modeling and random fault injection in SNNs, the impact of memory faults in SNN hardware architectures on accuracy and the respective fault-mitigation techniques are not thoroughly explored. Toward this, we propose ReSpawn, a novel framework for mitigating the negative impacts of faults in both the off-chip and on-chip memories for resilient and energy-efficient SNNs. The key mechanisms of ReSpawn are: (1) analyzing the fault tolerance of SNNs; and (2) improving the SNN fault tolerance through (a) fault-aware mapping (FAM) in memories, and (b) fault-aware training-and-mapping (FATM). If the training dataset is not fully available, FAM is employed through efficient bit-shuffling techniques that place the significant bits on the non-faulty memory cells and the insignificant bits on the faulty ones, while minimizing the memory access energy. Meanwhile, if the training dataset is fully available, FATM is employed by considering the faulty memory cells in the data mapping and training processes. The experimental results show that, compared to the baseline SNN without fault-mitigation techniques, ReSpawn with a fault-aware mapping scheme improves the accuracy by up to 70% for a network with 900 neurons without retraining.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされた計算のために教師なし学習能力を持つ低エネルギーを持つ可能性を示している。 しかし、製造欠陥や電圧誘起近似誤差から生じる、ハードウェアによるメモリ障害の存在下で処理が実行されると、精度が低下する可能性がある。 最近の研究は、SNNにおけるフォールトモデリングとランダムなフォールトインジェクションに焦点が当てられているため、SNNハードウェアアーキテクチャにおけるメモリフォールトが正確性および各フォールト軽減技術に与える影響は、十分に調べられていない。 そこで本研究では,回復力とエネルギー効率のよいSNNのためのオフチップメモリとオンチップメモリの両方において,障害の負の影響を緩和する新しいフレームワークであるReSpawnを提案する。 ReSpawnの主なメカニズムは,(1)SNNの耐障害性の解析,(2)記憶における(a)フォールト・アウェア・マッピング(FAM)によるSNN耐障害性の向上,(b)フォールト・アウェア・トレーニング・アンド・マッピング(FATM)である。 トレーニングデータセットが完全に利用できない場合、FAMは、非デフォルトメモリセルに重要なビットを配置する効率的なビットシャッフル技術と、欠陥のあるセルに重要なビットを配置し、メモリアクセスエネルギーを最小化する。 一方、トレーニングデータセットが完全に利用可能であれば、FATMはデータマッピングとトレーニングプロセスにおける障害メモリセルを考慮して使用される。 実験の結果, 断層緩和技術のないベースラインSNNと比較して, 断層認識マッピング方式によるReSpawnは, 900個のニューロンを持つネットワークにおいて, 再トレーニングなしで精度を最大70%向上することがわかった。

関連論文リスト

• NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [52.51014498593644]
  ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。 我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。 1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-29T11:38:22Z)
• RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults [15.115813664357436]
  RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-04-08T15:24:57Z)
• CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for Emerging Memories-Based Deep Neural Networks [7.566423455230909]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンと自然言語処理アプリケーションにとって最も効果的なプログラミングパラダイムとして登場した。 本稿では,NVMベースのDNNの信頼性を高めるために,CRAFT(Criticality-Aware Fault-Tolerance Enhancement Techniques)を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:39:11Z)
• CorrectNet: Robustness Enhancement of Analog In-Memory Computing for Neural Networks by Error Suppression and Compensation [4.570841222958966]
  本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。 ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T19:13:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Distribution-sensitive Information Retention for Accurate Binary Neural Network [49.971345958676196]
  本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。 我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。 我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2021-09-25T10:59:39Z)
• FAT: Training Neural Networks for Reliable Inference Under Hardware Faults [3.191587417198382]
  本稿では、ニューラルネットワーク(NN)トレーニング中のエラーモデリングを含む、フォールト・アウェア・トレーニング(FAT)と呼ばれる新しい手法を提案し、デバイス上の特定のフォールトモデルに耐性を持たせる。 FATはCIFAR10、GTSRB、SVHN、ImageNetなど多くの分類タスクに対して検証されている。
  論文  参考訳（メタデータ） (2020-11-11T16:09:39Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。