論文の概要: Enhancing Fault Resilience of QNNs by Selective Neuron Splitting

• arxiv url: http://arxiv.org/abs/2306.09973v1
• Date: Fri, 16 Jun 2023 17:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 12:52:57.122309
• Title: Enhancing Fault Resilience of QNNs by Selective Neuron Splitting
• Title（参考訳）: 選択的ニューロン分割によるQNNの耐故障性向上
• Authors: Mohammad Hasan Ahmadilivani, Mahdi Taheri, Jaan Raik, Masoud Daneshtalab, and Maksim Jenihhin
• Abstract要約: ディープニューラルネットワーク(DNN)の複雑さに取り組むために量子ニューラルネットワーク(QNN)が登場した。 本稿では,ニューロン脆弱性因子(NVF)に基づく臨界ニューロンの同定にQNNを用いた最近の解析的レジリエンス評価手法を提案する。 計算部分を再設計することなく、加速器内に軽量補正ユニット(LCU)を設計できる臨界ニューロン分割法が提案されている。
• 参考スコア（独自算出の注目度）: 1.1091582432763736
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The superior performance of Deep Neural Networks (DNNs) has led to their application in various aspects of human life. Safety-critical applications are no exception and impose rigorous reliability requirements on DNNs. Quantized Neural Networks (QNNs) have emerged to tackle the complexity of DNN accelerators, however, they are more prone to reliability issues. In this paper, a recent analytical resilience assessment method is adapted for QNNs to identify critical neurons based on a Neuron Vulnerability Factor (NVF). Thereafter, a novel method for splitting the critical neurons is proposed that enables the design of a Lightweight Correction Unit (LCU) in the accelerator without redesigning its computational part. The method is validated by experiments on different QNNs and datasets. The results demonstrate that the proposed method for correcting the faults has a twice smaller overhead than a selective Triple Modular Redundancy (TMR) while achieving a similar level of fault resiliency.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の優れた性能は、人間の生活の様々な側面に応用されている。 安全クリティカルなアプリケーションは例外ではなく、DNNに厳格な信頼性要件を課している。 量子ニューラルネットワーク(QNN)は、DNNアクセラレータの複雑さに取り組むために登場したが、信頼性の問題が多い。 本稿では, ニューロン脆弱性因子(NVF)に基づく臨界ニューロンの同定にQNNを用いた最近の解析的レジリエンス評価手法を提案する。 その後、計算部分を再設計することなく、加速器内に軽量補正ユニット(LCU)を設計できる臨界ニューロン分割法が提案されている。 この方法は、異なるQNNとデータセットの実験によって検証される。 その結果, 提案手法はTMRよりも2倍のオーバヘッドを有し, 同様のレベルの耐故障性を実現していることがわかった。

関連論文リスト

• Residual resampling-based physics-informed neural network for neutron diffusion equations [7.105073499157097]
  中性子拡散方程式は原子炉の解析において重要な役割を果たす。 従来のPINNアプローチでは、完全に接続されたネットワーク(FCN)アーキテクチャを利用することが多い。 R2-PINNは、現在の方法に固有の制限を効果的に克服し、中性子拡散方程式のより正確で堅牢な解を提供する。
  論文  参考訳（メタデータ） (2024-06-23T13:49:31Z)
• Q-SNNs: Quantized Spiking Neural Networks [12.719590949933105]
  スパイキングニューラルネットワーク(SNN)はスパーススパイクを利用して情報を表現し、イベント駆動方式で処理する。 シナプス重みと膜電位の両方に量子化を適用する軽量でハードウェアフレンドリな量子化SNNを提案する。 本稿では,情報エントロピー理論にインスパイアされた新しいウェイトスパイクデュアルレギュレーション(WS-DR)法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T16:23:26Z)
• SpikingJET: Enhancing Fault Injection for Fully and Convolutional Spiking Neural Networks [37.89720165358964]
  SpikingJETは、完全に接続された畳み込み型スパイキングニューラルネットワーク(SNN)用に特別に設計された新しいフォールトインジェクタである。 我々の研究は、SNNのハードウェア障害に対するレジリエンスを評価するための重要な必要性を、現実世界のアプリケーションにおけるその優位性を考える上で、浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-03-30T14:51:01Z)
• Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
  スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。 効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。 我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
  論文  参考訳（メタデータ） (2024-02-29T11:41:12Z)
• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
  スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。 適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
  論文  参考訳（メタデータ） (2021-05-27T08:38:31Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。