論文の概要: Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes
- arxiv url: http://arxiv.org/abs/2302.10685v1
- Date: Tue, 21 Feb 2023 14:10:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 15:03:54.076073
- Title: Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes
- Title（参考訳）: オフセットスパイクの校正によるANNとSNNのギャップの埋め合わせ
- Authors: Zecheng Hao, Jianhao Ding, Tong Bu, Tiejun Huang, Zhaofei Yu
- Abstract要約: スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。
ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。
本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
- 参考スコア（独自算出の注目度）: 19.85338979292052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have attracted great attention due to their
distinctive characteristics of low power consumption and temporal information
processing. ANN-SNN conversion, as the most commonly used training method for
applying SNNs, can ensure that converted SNNs achieve comparable performance to
ANNs on large-scale datasets. However, the performance degrades severely under
low quantities of time-steps, which hampers the practical applications of SNNs
to neuromorphic chips. In this paper, instead of evaluating different
conversion errors and then eliminating these errors, we define an offset spike
to measure the degree of deviation between actual and desired SNN firing rates.
We perform a detailed analysis of offset spike and note that the firing of one
additional (or one less) spike is the main cause of conversion errors. Based on
this, we propose an optimization strategy based on shifting the initial
membrane potential and we theoretically prove the corresponding optimal
shifting distance for calibrating the spike. In addition, we also note that our
method has a unique iterative property that enables further reduction of
conversion errors. The experimental results show that our proposed method
achieves state-of-the-art performance on CIFAR-10, CIFAR-100, and ImageNet
datasets. For example, we reach a top-1 accuracy of 67.12% on ImageNet when
using 6 time-steps. To the best of our knowledge, this is the first time an
ANN-SNN conversion has been shown to simultaneously achieve high accuracy and
ultralow latency on complex datasets. Code is available at
https://github.com/hzc1208/ANN2SNN_COS.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。
ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。
しかし、性能は低い時間ステップで著しく低下し、神経形チップへのSNNの実践的応用を阻害する。
本稿では、異なる変換誤差を評価してこれらの誤差を排除する代わりに、オフセットスパイクを定義し、実際のsn射撃率と所望のsn射撃率のずれの程度を測定する。
オフセットスパイクの詳細な解析を行い、1つの追加(または1つ以下)スパイクの発射が変換エラーの主な原因であることに注意する。
そこで本研究では,初期膜電位のシフトに基づく最適化戦略を提案し,スパイクのキャリブレーションのための最適シフト距離を理論的に証明する。
さらに,本手法には,変換誤差の低減を可能にするユニークな反復特性があることにも留意する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセット上での最先端性能を実現する。
例えば、6つのタイムステップを使用すると、ImageNetでトップ1の精度67.12%に達する。
我々の知る限り、ANN-SNN変換は、複雑なデータセット上で高い精度と超低レイテンシを同時に達成できることを示すのはこれが初めてである。
コードはhttps://github.com/hzc1208/ann2snn_cosで入手できる。
関連論文リスト
- One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。
本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。
ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
論文 参考訳（メタデータ） (2024-01-30T02:00:28Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。
本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。
本研究では,残膜電位に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2023-02-04T04:44:31Z) - Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization [30.098268054714048]
非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。
ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。
本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。
そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
論文 参考訳（メタデータ） (2022-05-16T06:53:14Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Optimized Potential Initialization for Low-latency Spiking Neural
Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。
ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。
本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文 参考訳（メタデータ） (2022-02-03T07:15:43Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural
Networks Calibration [11.014383784032084]
スパイキングニューラルネットワーク(SNN)は、次世代のニューラルネットワークの1つとして認識されている。
ANNからSNNへの変換においてパラメータの校正を行う適切な方法は、大幅な改善をもたらす可能性があることを示す。
論文 参考訳（メタデータ） (2021-06-13T13:20:12Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference
to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。
SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。
本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文 参考訳（メタデータ） (2020-06-03T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。