論文の概要: When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate, & Energy-Efficient Spiking Neural Networks from Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2312.06900v1
• Date: Tue, 12 Dec 2023 00:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 17:45:50.717777
• Title: When Bio-Inspired Computing meets Deep Learning: Low-Latency, Accurate, & Energy-Efficient Spiking Neural Networks from Artificial Neural Networks
• Title（参考訳）: バイオインスパイアコンピューティングがディープラーニングと出会う - ニューラルネットワークによる低遅延、高精度、エネルギー効率の高いスパイクニューラルネットワーク
• Authors: Gourav Datta, Zeyu Liu, James Diffenderfer, Bhavya Kailkhura, and Peter A. Beerel
• Abstract要約: Spiking Neural Networks (SNN) は畳み込みニューラルネットワーク (CNN) に匹敵する精度を示している ANN-to-SNN変換は、最近、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、大きな注目を集めている。 提案手法は,SOTA変換手法で必要となる時間ステップを指数的に減少させる新しいANN-to-SNN変換フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.721987637571306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bio-inspired Spiking Neural Networks (SNN) are now demonstrating comparable accuracy to intricate convolutional neural networks (CNN), all while delivering remarkable energy and latency efficiency when deployed on neuromorphic hardware. In particular, ANN-to-SNN conversion has recently gained significant traction in developing deep SNNs with close to state-of-the-art (SOTA) test accuracy on complex image recognition tasks. However, advanced ANN-to-SNN conversion approaches demonstrate that for lossless conversion, the number of SNN time steps must equal the number of quantization steps in the ANN activation function. Reducing the number of time steps significantly increases the conversion error. Moreover, the spiking activity of the SNN, which dominates the compute energy in neuromorphic chips, does not reduce proportionally with the number of time steps. To mitigate the accuracy concern, we propose a novel ANN-to-SNN conversion framework, that incurs an exponentially lower number of time steps compared to that required in the SOTA conversion approaches. Our framework modifies the SNN integrate-and-fire (IF) neuron model with identical complexity and shifts the bias term of each batch normalization (BN) layer in the trained ANN. To mitigate the spiking activity concern, we propose training the source ANN with a fine-grained L1 regularizer with surrogate gradients that encourages high spike sparsity in the converted SNN. Our proposed framework thus yields lossless SNNs with ultra-low latency, ultra-low compute energy, thanks to the ultra-low timesteps and high spike sparsity, and ultra-high test accuracy, for example, 73.30% with only 4 time steps on the ImageNet dataset.
• Abstract（参考訳）: バイオインスパイアされたスパイキングニューラルネットワーク(SNN)は、複雑な畳み込みニューラルネットワーク(CNN)に匹敵する精度を示している。 特に、ANN-to-SNN変換は、複雑な画像認識タスクにおける最先端(SOTA)テスト精度に近いディープSNNの開発において、近年大きな牽引力を得ている。 しかし、高度なANN-to-SNN変換アプローチは、損失のない変換では、SNNの時間ステップの数は、ANNアクティベーション関数の量子化ステップの数と等しくなければならないことを示す。 時間ステップの削減は変換エラーを大幅に増加させる。 さらに、ニューロモルフィックチップの計算エネルギーを支配するsnのスパイキング活性は、時間ステップの数に比例して減少しない。 精度の懸念を軽減するために,SOTA変換手法よりも指数関数的に少ない時間ステップを発生させる新しいANN-to-SNN変換フレームワークを提案する。 我々のフレームワークは,SNN統合火災ニューロンモデルを同一の複雑さで修正し,訓練されたANNにおける各バッチ正規化(BN)層のバイアス項をシフトさせる。 スパイク活動の懸念を軽減するため,変換されたSNNのスパイク間隔を増大させるため,シュロゲート勾配を有する微細なL1正規化器を用いたソースANNのトレーニングを提案する。 そこで,提案手法では,超低レイテンシ,超低計算エネルギーのsnを,超低時間ステップ,高スパイクスパーシティ,超高テスト精度,例えば,imagenetデータセット上で4時間ステップしか持たない73.30%という精度で実現している。

関連論文リスト

• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• Converting High-Performance and Low-Latency SNNs through Explicit Modelling of Residual Error in ANNs [27.46147049872907]
  スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率とニューロモルフィックチップの優れた効果のために関心を集めている。 ディープSNNの実装における主要なアプローチの1つは、ANN-SNN変換である。 本稿では,残差を付加雑音として明示的にモデル化した新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-26T14:50:46Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• Optimal ANN-SNN Conversion for High-accuracy and Ultra-low-latency Spiking Neural Networks [22.532709609646066]
  スパイキングニューラルネットワーク(SNN)は、低消費電力とニューロモルフィックハードウェアにおける高速推論の特徴的な特性により、大きな注目を集めている。 ディープSNNを得る最も効果的な方法として、ANN-SNN変換は大規模データセット上でのANNと同等のパフォーマンスを達成した。 本稿では,ANN-SNN変換誤差を理論的に解析し,SNNの活性化関数を推定する。 SNNとANNの変換誤差はゼロであり、高精度で超低レイテンシのSNNを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-03-08T03:04:53Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
  スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。 ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。 本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
  論文  参考訳（メタデータ） (2022-02-03T07:15:43Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks [0.0]
  spiking neural networks (snns) は生物学に触発されたニューラルネットワーク (anns) である。 しきい値バランスとソフトリセット機構を組み合わせることで、重みをターゲットSNNに転送する新しい戦略パイプラインを提案する。 提案手法は,SNNのエネルギーとメモリの制限によるサポートを向上し,組込みプラットフォームに組み込むことが期待できる。
  論文  参考訳（メタデータ） (2021-02-28T12:04:22Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
  スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。 本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
  論文  参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。