論文の概要: Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization
- arxiv url: http://arxiv.org/abs/2205.07473v3
- Date: Tue, 19 Mar 2024 17:25:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 02:10:44.787131
- Title: Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization
- Title（参考訳）: 双相最適化による超低レイテンシANN-SNN変換の無損失化
- Authors: Ziming Wang, Shuang Lian, Yuhao Zhang, Xiaoxin Cui, Rui Yan, Huajin Tang,
- Abstract要約: 非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。
ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。
本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。
そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
- 参考スコア（独自算出の注目度）: 30.098268054714048
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) operating with asynchronous discrete events show higher energy efficiency with sparse computation. A popular approach for implementing deep SNNs is ANN-SNN conversion combining both efficient training of ANNs and efficient inference of SNNs. However, the accuracy loss is usually non-negligible, especially under a few time steps, which restricts the applications of SNN on latency-sensitive edge devices greatly. In this paper, we first identify that such performance degradation stems from the misrepresentation of the negative or overflow residual membrane potential in SNNs. Inspired by this, we decompose the conversion error into three parts: quantization error, clipping error, and residual membrane potential representation error. With such insights, we propose a two-stage conversion algorithm to minimize those errors respectively. Besides, We show each stage achieves significant performance gains in a complementary manner. By evaluating on challenging datasets including CIFAR-10, CIFAR- 100 and ImageNet, the proposed method demonstrates the state-of-the-art performance in terms of accuracy, latency and energy preservation. Furthermore, our method is evaluated using a more challenging object detection task, revealing notable gains in regression performance under ultra-low latency when compared to existing spike-based detection algorithms. Codes are available at https://github.com/Windere/snn-cvt-dual-phase.
- Abstract（参考訳）: 非同期離散イベントで動作するスパイキングニューラルネットワーク(SNN)は、スパース計算によるエネルギー効率の向上を示す。
ディープSNNを実装するための一般的なアプローチは、ANNの効率的なトレーニングとSNNの効率的な推論を組み合わせたANN-SNN変換である。
しかし、精度の損失は通常無視できないが、特に数ステップで SNN のレイテンシに敏感なエッジデバイスへの応用を著しく制限する。
本稿では,SNNにおける負または過フロー残留膜電位の誤表現に起因する性能劣化を最初に同定する。
そこで我々は,変換誤差を量子化誤差,クリッピング誤差,残留膜電位表現誤差の3つの部分に分解した。
そこで本研究では,これらの誤りを最小化するための2段階変換アルゴリズムを提案する。
さらに,各ステージが相補的な方法で大きなパフォーマンス向上を達成することを示す。
提案手法は, CIFAR-10, CIFAR-100, ImageNetなどの挑戦的データセットを用いて, 精度, レイテンシ, エネルギー保存の観点から, 最先端の性能を示す。
さらに,本手法は,既存のスパイク検出アルゴリズムと比較して,超低レイテンシ下での回帰性能が顕著に向上することを示すため,より困難な物体検出タスクを用いて評価を行った。
コードはhttps://github.com/Windere/snn-cvt-dual-phaseで公開されている。
関連論文リスト
- Low Latency of object detection for spikng neural network [3.404826786562694]
スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。
本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
論文 参考訳（メタデータ） (2023-09-27T10:26:19Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Fast-SNN: Fast Spiking Neural Network by Converting Quantized ANN [38.18008827711246]
スパイキングニューラルネットワーク(SNN)は、計算とエネルギー効率の利点を示している。
離散スパイク関数のため、ディープSNNをトレーニングすることは依然として課題である。
本稿では低レイテンシで高い性能を実現する高速SNNを提案する。
論文 参考訳（メタデータ） (2023-05-31T14:04:41Z) - Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。
ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。
本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
論文 参考訳（メタデータ） (2023-02-21T14:10:56Z) - Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。
本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。
本研究では,残膜電位に基づく最適化手法を提案する。
論文 参考訳（メタデータ） (2023-02-04T04:44:31Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳（メタデータ） (2022-03-31T16:21:12Z) - Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking
Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。
SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う
そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-22T18:47:45Z) - FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。
そこで本研究では、3次内積の計算複雑性を2。
性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
論文 参考訳（メタデータ） (2020-08-12T04:26:18Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。