論文の概要: Noise Adaptor in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2312.05290v1
• Date: Fri, 8 Dec 2023 16:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:48:18.446190
• Title: Noise Adaptor in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける雑音適応
• Authors: Chen Li, Bipin Rajendran
• Abstract要約: 低遅延スパイクニューラルネットワーク(SNN)アルゴリズムは大きな関心を集めている。 低遅延SNNを構築する最も効率的な方法の1つは、事前訓練された低ビット人工ニューラルネットワーク(ANN)をSNNに変換することである。 SNNを低ビットのANNから変換すると、時折ノイズが発生する可能性がある。
• 参考スコア（独自算出の注目度）: 4.568827262994048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent strides in low-latency spiking neural network (SNN) algorithms have drawn significant interest, particularly due to their event-driven computing nature and fast inference capability. One of the most efficient ways to construct a low-latency SNN is by converting a pre-trained, low-bit artificial neural network (ANN) into an SNN. However, this conversion process faces two main challenges: First, converting SNNs from low-bit ANNs can lead to ``occasional noise" -- the phenomenon where occasional spikes are generated in spiking neurons where they should not be -- during inference, which significantly lowers SNN accuracy. Second, although low-latency SNNs initially show fast improvements in accuracy with time steps, these accuracy growths soon plateau, resulting in their peak accuracy lagging behind both full-precision ANNs and traditional ``long-latency SNNs'' that prioritize precision over speed. In response to these two challenges, this paper introduces a novel technique named ``noise adaptor.'' Noise adaptor can model occasional noise during training and implicitly optimize SNN accuracy, particularly at high simulation times $T$. Our research utilizes the ResNet model for a comprehensive analysis of the impact of the noise adaptor on low-latency SNNs. The results demonstrate that our method outperforms the previously reported quant-ANN-to-SNN conversion technique. We achieved an accuracy of 95.95\% within 4 time steps on CIFAR-10 using ResNet-18, and an accuracy of 74.37\% within 64 time steps on ImageNet using ResNet-50. Remarkably, these results were obtained without resorting to any noise correction methods during SNN inference, such as negative spikes or two-stage SNN simulations. Our approach significantly boosts the peak accuracy of low-latency SNNs, bringing them on par with the accuracy of full-precision ANNs. Code will be open source.
• Abstract（参考訳）: 近年の低遅延スパイクニューラルネットワーク(SNN)アルゴリズムの進歩は、特にイベント駆動型コンピューティングの性質と高速推論能力により、大きな関心を集めている。 低遅延SNNを構築する最も効率的な方法の1つは、事前訓練された低ビット人工ニューラルネットワーク(ANN)をSNNに変換することである。 しかし、この変換プロセスは2つの大きな課題に直面している。 まず、低ビットのANNからSNNを変換すると、"occasional noise"(時折のノイズ)が発生する。 第二に、低遅延SNNは、最初は時間ステップで精度が向上するが、これらの精度はすぐに向上し、その結果、そのピーク精度は、高速よりも精度を優先する完全精度ANNと従来の 'long-latency SNN'' の両方に遅れる。 そこで本稿では,これら2つの課題に対して,`noise adaptor という新しい手法を提案する。 ノイズアダプタはトレーニング中に時々発生するノイズをモデル化し、特に高いシミュレーション時間にsnn精度を暗黙的に最適化することができる。 本研究ではResNetモデルを用いて低遅延SNNに対する雑音適応器の影響の包括的解析を行う。 その結果,提案手法は以前報告した量子ANN-SNN変換手法よりも優れていた。 我々は、ResNet-18を用いたCIFAR-10の4ステップで95.95\%、ResNet-50を用いたImageNetの64タイムステップで74.37\%の精度を達成した。 これらの結果は、負のスパイクや2段階のSNNシミュレーションなど、SNN推論中のノイズ補正手法を使わずに得られた。 提案手法により,低遅延SNNのピーク精度が大幅に向上し,完全精度ANNの精度と同等になる。 コードはオープンソースになる。

関連論文リスト

• Noise Adaptor: Enhancing Low-Latency Spiking Neural Networks through Noise-Injected Low-Bit ANN Conversion [3.8674054882510065]
  雑音適応器は、競争力のある低遅延スパイクニューラルネットワーク(SNN)を構築するための新しい方法である 量子化ANNトレーニング中にノイズを注入することにより、ノイズアダプタはANNとSNNの動的差異をよりよく考慮する。 従来の手法とは異なり、ノイズアダプタはSNNにおける実行時ノイズ補正技術の適用を必要としない。
  論文  参考訳（メタデータ） (2024-11-26T13:39:52Z)
• Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff [31.61525648918492]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワークのより近い模倣を提供する。 現在のSNNは一定期間にわたって推測するように訓練されている。 本稿では,効率的な推論を実現するため,推論中にいつでもSNNを停止できるSNNのカットオフを提案する。
  論文  参考訳（メタデータ） (2023-01-23T16:14:09Z)
• A noise based novel strategy for faster SNN training [0.0]
  スパイキングニューラルネットワーク(SNN)は、消費電力の低さと強力なバイオプロファイザビリティによって注目を集めている。 人工知能ニューラルネットワーク(ANN)-SNN変換とスパイクベースのバックプロパゲーション(BP)の2つの主要な手法には、それぞれ長所と短所がある。 本稿では,2つの手法の利点を組み合わせた新しいSNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T09:59:04Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。