論文の概要: Recognizing Images with at most one Spike per Neuron
- arxiv url: http://arxiv.org/abs/2001.01682v3
- Date: Tue, 21 Jan 2020 10:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 01:59:46.791115
- Title: Recognizing Images with at most one Spike per Neuron
- Title(参考訳): ニューロン1個につき最大1つのスパイクで画像を認識する
- Authors: Christoph St\"ockl and Wolfgang Maass
- Abstract要約: AMOS変換により、ImageNetのSNNの精度は74.60%から80.97%に向上した。
SNNのTop5精度は95.82%に引き上げられ、ANNのTop5パフォーマンスは97.2%に近づいた。
- 参考スコア(独自算出の注目度): 1.7767466724342065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to port the performance of trained artificial neural networks (ANNs)
to spiking neural networks (SNNs), which can be implemented in neuromorphic
hardware with a drastically reduced energy consumption, an efficient ANN to SNN
conversion is needed. Previous conversion schemes focused on the representation
of the analog output of a rectified linear (ReLU) gate in the ANN by the firing
rate of a spiking neuron. But this is not possible for other commonly used ANN
gates, and it reduces the throughput even for ReLU gates. We introduce a new
conversion method where a gate in the ANN, which can basically be of any type,
is emulated by a small circuit of spiking neurons, with At Most One Spike
(AMOS) per neuron. We show that this AMOS conversion improves the accuracy of
SNNs for ImageNet from 74.60% to 80.97%, thereby bringing it within reach of
the best available ANN accuracy (85.0%). The Top5 accuracy of SNNs is raised to
95.82%, getting even closer to the best Top5 performance of 97.2% for ANNs. In
addition, AMOS conversion improves latency and throughput of spike-based image
classification by several orders of magnitude. Hence these results suggest that
SNNs provide a viable direction for developing highly energy efficient hardware
for AI that combines high performance with versatility of applications.
- Abstract(参考訳): 訓練された人工知能ニューラルネットワーク(ANN)の性能をスパイクニューラルネットワーク(SNN)に移植するためには、エネルギー消費を大幅に削減したニューロモルフィックハードウェアで実装できるため、効率的なANNからSNNへの変換が必要である。
従来の変換方式は、スパイキングニューロンの発火速度によるANNにおける整流線形(ReLU)ゲートのアナログ出力の表現に焦点を当てていた。
しかし、これは他の一般的なANNゲートでは不可能であり、ReLUゲートでもスループットが低下する。
我々は、ANN内のゲートが基本的に任意の種類のニューロンの小さな回路でエミュレートされる新しい変換法を導入し、ニューロン当たりのAt Most One Spike (AMOS) を導入する。
このAMOS変換により、ImageNetのSNNの精度が74.60%から80.97%に向上し、最高のANN精度(85.0%)に到達できることが示されている。
SNNのTop5精度は95.82%に引き上げられ、ANNのTop5パフォーマンスは97.2%に近づいた。
さらに、AMOS変換は、スパイクベースの画像分類のレイテンシとスループットを数桁改善する。
したがって、これらの結果から、SNNは、高性能とアプリケーションの汎用性を組み合わせた高エネルギー効率なAIハードウェアを開発するための実行可能な方向性を提供すると考えられる。
関連論文リスト
- A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual
Perception [49.877675666360695]
Spiking Neural Networks(SNN)は、バイオインスパイアされたニューラルネットワークの一種で、エッジデバイスに低消費電力で低レイテンシな推論をもたらすことを約束する。
イベントベース2Dおよび3Dヒューマンポーズ推定の課題について,本手法では,ANNに比べて性能を4%低下させることなく,88%の消費電力を消費することを示した。
論文 参考訳(メタデータ) (2023-03-24T17:38:45Z) - Low Latency Conversion of Artificial Neural Network Models to
Rate-encoded Spiking Neural Networks [11.300257721586432]
スパイキングニューラルネットワーク(SNN)は、リソース制約のあるアプリケーションに適している。
典型的なレートエンコードされたSNNでは、グローバルに固定された時間ウィンドウ内の一連のバイナリスパイクを使用してニューロンを発射する。
本研究の目的は、ANNを等価SNNに変換する際の精度を維持しつつ、これを削減することである。
論文 参考訳(メタデータ) (2022-10-27T08:13:20Z) - Attention Spiking Neural Networks [32.591900260554326]
スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
論文 参考訳(メタデータ) (2022-09-28T09:00:45Z) - SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking
Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。
本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。
実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文 参考訳(メタデータ) (2022-06-19T16:52:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳(メタデータ) (2022-02-03T07:15:43Z) - BSNN: Towards Faster and Better Conversion of Artificial Neural Networks
to Spiking Neural Networks with Bistable Neurons [8.555786938446133]
スパイキングニューラルネットワーク(SNN)は、個別のバイナリイベントを通じて情報を計算し、伝達する。
最近の研究は、人工知能ニューラルネットワーク(ANN)をSNNに変換することで、優れたパフォーマンスで重要な進歩を遂げている。
位相リードと位相ラグに起因する不活性化ニューロンのスパイク(SIN)問題に対処するバイスタブルスパイクニューラルネットワーク(BSNN)を提案する。
論文 参考訳(メタデータ) (2021-05-27T02:38:02Z) - Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。
すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。
本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-09-28T03:29:19Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳(メタデータ) (2020-06-03T15:55:53Z) - RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper
High-Accuracy and Low-Latency Spiking Neural Network [11.447730771403464]
スパイキングニューラルネットワーク(SNN)は、第3世代の人工ニューラルネットワークとして大きな研究関心を集めている。
VGG-16, ResNet-20, ResNet-34 SNN に対して, RMP ニューロンを用いたほぼ無損失 ANN-SNN 変換を示す。
論文 参考訳(メタデータ) (2020-02-25T18:19:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。