論文の概要: Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion
- arxiv url: http://arxiv.org/abs/2408.09403v2
- Date: Mon, 26 Aug 2024 01:26:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 20:30:25.430403
- Title: Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion
- Title（参考訳）: CRNN-SNN変換によるシーケンス学習における最適スパイクニューラルネットワークの実現
- Authors: Jiahao Su, Kang You, Zekai Xu, Weizhi Xu, Zhezhi He,
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に代わる有望な選択肢である
我々は、ニューラルネットワークにおける異なる構造のエンドツーエンド変換をサポートするために、2つのサブパイプを設計する。
本手法の有効性を,最先端の学習法や変換法と比較し,短時間・長期の時間スケールで示す。
- 参考スコア（独自算出の注目度）: 12.893883491781697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are becoming a promising alternative to conventional artificial neural networks (ANNs) due to their rich neural dynamics and the implementation of energy-efficient neuromorphic chips. However, the non-differential binary communication mechanism makes SNN hard to converge to an ANN-level accuracy. When SNN encounters sequence learning, the situation becomes worse due to the difficulties in modeling long-range dependencies. To overcome these difficulties, researchers developed variants of LIF neurons and different surrogate gradients but still failed to obtain good results when the sequence became longer (e.g., $>$500). Unlike them, we obtain an optimal SNN in sequence learning by directly mapping parameters from a quantized CRNN. We design two sub-pipelines to support the end-to-end conversion of different structures in neural networks, which is called CNN-Morph (CNN $\rightarrow$ QCNN $\rightarrow$ BIFSNN) and RNN-Morph (RNN $\rightarrow$ QRNN $\rightarrow$ RBIFSNN). Using conversion pipelines and the s-analog encoding method, the conversion error of our framework is zero. Furthermore, we give the theoretical and experimental demonstration of the lossless CRNN-SNN conversion. Our results show the effectiveness of our method over short and long timescales tasks compared with the state-of-the-art learning- and conversion-based methods. We reach the highest accuracy of 99.16% (0.46 $\uparrow$) on S-MNIST, 94.95% (3.95 $\uparrow$) on PS-MNIST (sequence length of 784) respectively, and the lowest loss of 0.057 (0.013 $\downarrow$) within 8 time-steps in collision avoidance dataset.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、リッチニューラルネットワークとエネルギー効率のよいニューロモルフィックチップの実装により、従来の人工知能ニューラルネットワーク(ANN)に代わる有望な選択肢になりつつある。
しかし、この非微分二元通信機構は、SNNをANNレベルの精度に収束させることを困難にしている。
SNNがシーケンス学習に遭遇すると、長距離依存関係のモデリングが困難になるため、状況は悪化する。
これらの困難を克服するため、研究者たちはLIFニューロンの変種と異なる代理勾配を開発したが、配列が長くなると良い結果が得られなかった(例:$>500)。
それらとは異なり、量子化されたCRNNから直接パラメータをマッピングすることで、シーケンス学習における最適なSNNを得る。
CNN-Morph(CNN $\rightarrow$ QCNN $\rightarrow$ BIFSNN)とRNN-Morph(RNN $\rightarrow$ QRNN $\rightarrow$ RBIFSNN)と呼ばれる2つのサブパイプを設計する。
変換パイプラインとs-analog符号化法を用いることで,フレームワークの変換誤差はゼロとなる。
さらに,損失のないCRNN-SNN変換の理論的,実験的実証を行った。
提案手法の有効性を,最先端の学習法や変換法と比較し,短時間・長期の時間スケール課題に対する提案手法の有効性を示す。
我々は、S-MNISTの99.16% (0.46$\uparrow$)、PS-MNISTの94.95% (3.95$\uparrow$)、衝突回避データセットの8ステップ以内の0.057 (0.013$\downarrow$)の最も高い精度に達する。
関連論文リスト
- Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。
適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。
我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
論文 参考訳（メタデータ） (2024-07-18T14:06:07Z) - Optimal ANN-SNN Conversion with Group Neurons [39.14228133571838]
スパイキングニューラルネットワーク(SNN)は、有望な第3世代のニューラルネットワークとして登場した。
効果的な学習アルゴリズムの欠如は、SNNにとって依然として課題である。
我々はグループニューロン(GN)と呼ばれる新しいタイプのニューロンを紹介する。
論文 参考訳（メタデータ） (2024-02-29T11:41:12Z) - One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。
本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。
ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
論文 参考訳（メタデータ） (2024-01-30T02:00:28Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳（メタデータ） (2023-09-26T06:06:47Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳（メタデータ） (2022-06-19T16:52:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - BSNN: Towards Faster and Better Conversion of Artificial Neural Networks
to Spiking Neural Networks with Bistable Neurons [8.555786938446133]
スパイキングニューラルネットワーク(SNN)は、個別のバイナリイベントを通じて情報を計算し、伝達する。
最近の研究は、人工知能ニューラルネットワーク(ANN)をSNNに変換することで、優れたパフォーマンスで重要な進歩を遂げている。
位相リードと位相ラグに起因する不活性化ニューロンのスパイク(SIN)問題に対処するバイスタブルスパイクニューラルネットワーク(BSNN)を提案する。
論文 参考訳（メタデータ） (2021-05-27T02:38:02Z) - Optimal Conversion of Conventional Artificial Neural Networks to Spiking
Neural Networks [0.0]
spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。
しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。
提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
論文 参考訳（メタデータ） (2021-02-28T12:04:22Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。