論文の概要: Enhancing Fault Resilience of QNNs by Selective Neuron Splitting
- arxiv url: http://arxiv.org/abs/2306.09973v1
- Date: Fri, 16 Jun 2023 17:11:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 12:52:57.122309
- Title: Enhancing Fault Resilience of QNNs by Selective Neuron Splitting
- Title(参考訳): 選択的ニューロン分割によるQNNの耐故障性向上
- Authors: Mohammad Hasan Ahmadilivani, Mahdi Taheri, Jaan Raik, Masoud
Daneshtalab, and Maksim Jenihhin
- Abstract要約: ディープニューラルネットワーク(DNN)の複雑さに取り組むために量子ニューラルネットワーク(QNN)が登場した。
本稿では,ニューロン脆弱性因子(NVF)に基づく臨界ニューロンの同定にQNNを用いた最近の解析的レジリエンス評価手法を提案する。
計算部分を再設計することなく、加速器内に軽量補正ユニット(LCU)を設計できる臨界ニューロン分割法が提案されている。
- 参考スコア(独自算出の注目度): 1.1091582432763736
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The superior performance of Deep Neural Networks (DNNs) has led to their
application in various aspects of human life. Safety-critical applications are
no exception and impose rigorous reliability requirements on DNNs. Quantized
Neural Networks (QNNs) have emerged to tackle the complexity of DNN
accelerators, however, they are more prone to reliability issues.
In this paper, a recent analytical resilience assessment method is adapted
for QNNs to identify critical neurons based on a Neuron Vulnerability Factor
(NVF). Thereafter, a novel method for splitting the critical neurons is
proposed that enables the design of a Lightweight Correction Unit (LCU) in the
accelerator without redesigning its computational part.
The method is validated by experiments on different QNNs and datasets. The
results demonstrate that the proposed method for correcting the faults has a
twice smaller overhead than a selective Triple Modular Redundancy (TMR) while
achieving a similar level of fault resiliency.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の優れた性能は、人間の生活の様々な側面に応用されている。
安全クリティカルなアプリケーションは例外ではなく、DNNに厳格な信頼性要件を課している。
量子ニューラルネットワーク(QNN)は、DNNアクセラレータの複雑さに取り組むために登場したが、信頼性の問題が多い。
本稿では, ニューロン脆弱性因子(NVF)に基づく臨界ニューロンの同定にQNNを用いた最近の解析的レジリエンス評価手法を提案する。
その後、計算部分を再設計することなく、加速器内に軽量補正ユニット(LCU)を設計できる臨界ニューロン分割法が提案されている。
この方法は、異なるQNNとデータセットの実験によって検証される。
その結果, 提案手法はTMRよりも2倍のオーバヘッドを有し, 同様のレベルの耐故障性を実現していることがわかった。
関連論文リスト
- CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural
Networks [5.827705323847176]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
これらは時間的情報を処理するための優れた効率と能力を示す。
しかし、SNNのスパイク機構の区別が難しいため、SNNを訓練することは依然として困難である。
論文 参考訳(メタデータ) (2024-02-07T08:51:57Z) - Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-19T23:48:04Z) - Low Latency of object detection for spikng neural network [3.404826786562694]
スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。
本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
論文 参考訳(メタデータ) (2023-09-27T10:26:19Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and
Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。
適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。
MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文 参考訳(メタデータ) (2021-05-27T08:38:31Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳(メタデータ) (2020-10-23T22:27:13Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。