論文の概要: Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes

• arxiv url: http://arxiv.org/abs/2204.13271v1
• Date: Thu, 28 Apr 2022 03:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 14:57:22.625396
• Title: Efficient and Accurate Conversion of Spiking Neural Network with Burst Spikes
• Title（参考訳）: バーストスパイクを用いたスパイクニューラルネットワークの効率的かつ正確な変換
• Authors: Yang Li, Yi Zeng
• Abstract要約: 脳にインスパイアされたエネルギー効率の高いニューラルネットワークとしてのスパイキングニューラルネットワーク(SNN)は、研究者の関心を集めている。 1つの効果的な方法は、訓練されたANNの重量をSNNにマッピングし、高い推論能力を達成することである。 変換されたスパイクニューラルネットワークは、しばしば性能劣化とかなりの遅延に悩まされる。 本稿では,残余情報の解法として,安価で高効率なバーストスパイクを放出するニューロンモデルを提案する。
• 参考スコア（独自算出の注目度）: 9.210531698373256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural network (SNN), as a brain-inspired energy-efficient neural network, has attracted the interest of researchers. While the training of spiking neural networks is still an open problem. One effective way is to map the weight of trained ANN to SNN to achieve high reasoning ability. However, the converted spiking neural network often suffers from performance degradation and a considerable time delay. To speed up the inference process and obtain higher accuracy, we theoretically analyze the errors in the conversion process from three perspectives: the differences between IF and ReLU, time dimension, and pooling operation. We propose a neuron model for releasing burst spikes, a cheap but highly efficient method to solve residual information. In addition, Lateral Inhibition Pooling (LIPooling) is proposed to solve the inaccuracy problem caused by MaxPooling in the conversion process. Experimental results on CIFAR and ImageNet demonstrate that our algorithm is efficient and accurate. For example, our method can ensure nearly lossless conversion of SNN and only use about 1/10 (less than 100) simulation time under 0.693$\times$ energy consumption of the typical method. Our code is available at https://github.com/Brain-Inspired-Cognitive-Engine/Conversion_Burst.
• Abstract（参考訳）: 脳にインスパイアされたエネルギー効率の高いニューラルネットワークであるスパイキングニューラルネットワーク(SNN)は、研究者の関心を集めている。 スパイクニューラルネットワークのトレーニングは依然としてオープンな問題である。 1つの効果的な方法は、訓練されたANNの重量をSNNにマッピングし、高い推論能力を達成することである。 しかし、変換されたスパイクニューラルネットワークは、しばしば性能劣化とかなりの遅延に悩まされる。 推論プロセスの高速化と高精度化を目的として, IFとReLUの差, 時間次元, プール操作の3つの観点から, 変換プロセスの誤差を理論的に解析した。 本稿では,残余情報の解法として,安価で高効率なバーストスパイクを放出するニューロンモデルを提案する。 また、変換過程におけるMaxPoolingによる不正確性を解決するために、LIPooling ( Lateral Inhibition Pooling) を提案する。 CIFARとImageNetの実験結果から,我々のアルゴリズムは効率的かつ正確であることが示された。 例えば、本手法はsnnのほぼ無損失な変換を保証でき、典型的な方法の0.693$\times$エネルギー消費の下でのシミュレーション時間は約1/10(100未満)しか使用できない。 私たちのコードはhttps://github.com/brain-inspired-cognitive-engine/conversion_burstで利用可能です。

関連論文リスト

• Obtaining Optimal Spiking Neural Network in Sequence Learning via CRNN-SNN Conversion [12.893883491781697]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)に代わる有望な選択肢である 我々は、ニューラルネットワークにおける異なる構造のエンドツーエンド変換をサポートするために、2つのサブパイプを設計する。 本手法の有効性を,最先端の学習法や変換法と比較し,短時間・長期の時間スケールで示す。
  論文  参考訳（メタデータ） (2024-08-18T08:23:51Z)
• Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
  スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。 本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
  論文  参考訳（メタデータ） (2024-05-27T05:53:30Z)
• FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion [16.9748086865693]
  Spiking Neural Networks(SNN)は、ニューラルネットワーク(ANN)と比較して、エネルギー効率の高いコンピューティングのための有望な道を提供する 本稿では,計算オーバーヘッドを伴わずに変換精度を向上させることを目的とした,FTBC(Forward Temporal Bias)技術を紹介する。 さらに,前方通過のみの時間偏差を求めるアルゴリズムを提案し,逆伝播の計算負担を軽減した。
  論文  参考訳（メタデータ） (2024-03-27T09:25:20Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
  スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。 本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
  論文  参考訳（メタデータ） (2023-02-21T14:10:56Z)
• Ultra-low Latency Adaptive Local Binary Spiking Neural Network with Accuracy Loss Estimator [4.554628904670269]
  精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。 実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
  論文  参考訳（メタデータ） (2022-07-31T09:03:57Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• BSNN: Towards Faster and Better Conversion of Artificial Neural Networks to Spiking Neural Networks with Bistable Neurons [8.555786938446133]
  スパイキングニューラルネットワーク(SNN)は、個別のバイナリイベントを通じて情報を計算し、伝達する。 最近の研究は、人工知能ニューラルネットワーク(ANN)をSNNに変換することで、優れたパフォーマンスで重要な進歩を遂げている。 位相リードと位相ラグに起因する不活性化ニューロンのスパイク(SIN)問題に対処するバイスタブルスパイクニューラルネットワーク(BSNN)を提案する。
  論文  参考訳（メタデータ） (2021-05-27T02:38:02Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。