Fugu-MT 論文翻訳(概要): Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks

論文の概要: Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2211.08410v1
Date: Thu, 27 Oct 2022 08:13:20 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 14:07:21.840179
Title: Low Latency Conversion of Artificial Neural Network Models to Rate-encoded Spiking Neural Networks
Title（参考訳）: ニューラルネットワークモデルから速度符号化スパイキングニューラルネットワークへの低レイテンシ変換
Authors: Zhanglu Yan, Jun Zhou, Weng-Fai Wong
Abstract要約: スパイキングニューラルネットワーク(SNN)は、リソース制約のあるアプリケーションに適している。典型的なレートエンコードされたSNNでは、グローバルに固定された時間ウィンドウ内の一連のバイナリスパイクを使用してニューロンを発射する。本研究の目的は、ANNを等価SNNに変換する際の精度を維持しつつ、これを削減することである。
参考スコア（独自算出の注目度）: 11.300257721586432
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spiking neural networks (SNNs) are well suited for resource-constrained applications as they do not need expensive multipliers. In a typical rate-encoded SNN, a series of binary spikes within a globally fixed time window is used to fire the neurons. The maximum number of spikes in this time window is also the latency of the network in performing a single inference, as well as determines the overall energy efficiency of the model. The aim of this paper is to reduce this while maintaining accuracy when converting ANNs to their equivalent SNNs. The state-of-the-art conversion schemes yield SNNs with accuracies comparable with ANNs only for large window sizes. In this paper, we start with understanding the information loss when converting from pre-existing ANN models to standard rate-encoded SNN models. From these insights, we propose a suite of novel techniques that together mitigate the information lost in the conversion, and achieve state-of-art SNN accuracies along with very low latency. Our method achieved a Top-1 SNN accuracy of 98.73% (1 time step) on the MNIST dataset, 76.38% (8 time steps) on the CIFAR-100 dataset, and 93.71% (8 time steps) on the CIFAR-10 dataset. On ImageNet, an SNN accuracy of 75.35%/79.16% was achieved with 100/200 time steps.
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、高価な乗算器を必要としないため、リソース制約のあるアプリケーションに適している。典型的なレート符号化SNNでは、グローバルに固定された時間ウィンドウ内の一連のバイナリスパイクを使用してニューロンを発射する。このタイムウィンドウにおけるスパイクの最大数は、単一の推論を行う際のネットワークのレイテンシであり、モデル全体のエネルギー効率も決定する。本研究の目的は、ANNを等価SNNに変換する際の精度を維持しつつ、これを削減することである。最先端の変換方式は、大きなウィンドウサイズでのみ、ANNと同等の精度でSNNを生成する。本稿では,既存の ANN モデルから標準レート符号化 SNN モデルへの変換における情報損失の理解から始める。これらの知見から,変換中に失われた情報を緩和し,極めて低いレイテンシとともに最先端のsnsアキュラシーを実現する,一連の新しい手法を提案する。提案手法は,MNISTデータセットで98.73% (1タイムステップ),CIFAR-100データセットで76.38% (8タイムステップ),CIFAR-10データセットで93.71% (8タイムステップ)のTop-1 SNN精度を達成した。 ImageNetでは、SNNの精度75.35%/79.16%が100/200タイムステップで達成された。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。 ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
論文参考訳（メタデータ） (2024-01-30T02:00:28Z)
SEENN: Towards Temporal Spiking Early-Exit Neural Networks [26.405775809170308]
スパイキングニューラルネットワーク(SNN)は、最近、従来のニューラルネットワーク(ANN)の生物学的にもっともらしい代替品として人気が高まっている。本研究では,SNNにおける時間経過の微調整について検討する。時間ステップ数を動的に調整することにより、SEENNは推論中の平均時間ステップ数を著しく削減する。
論文参考訳（メタデータ） (2023-04-02T15:57:09Z)
Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
論文参考訳（メタデータ） (2023-02-21T14:10:56Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文参考訳（メタデータ） (2022-02-03T07:15:43Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文参考訳（メタデータ） (2021-05-07T11:39:05Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。