Fugu-MT 論文翻訳(概要): A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration

論文の概要: A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration

arxiv url: http://arxiv.org/abs/2106.06984v1
Date: Sun, 13 Jun 2021 13:20:12 GMT
ステータス: 処理完了
システム内更新日: 2021-06-15 15:48:16.829554
Title: A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration
Title（参考訳）: ANNのフリーランチ:効率よく正確なスパイクニューラルネットワークの校正を目指して
Authors: Yuhang Li, Shikuang Deng, Xin Dong, Ruihao Gong, Shi Gu
Abstract要約: スパイキングニューラルネットワーク(SNN)は、次世代のニューラルネットワークの1つとして認識されている。 ANNからSNNへの変換においてパラメータの校正を行う適切な方法は、大幅な改善をもたらす可能性があることを示す。
参考スコア（独自算出の注目度）: 11.014383784032084
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spiking Neural Network (SNN) has been recognized as one of the next generation of neural networks. Conventionally, SNN can be converted from a pre-trained ANN by only replacing the ReLU activation to spike activation while keeping the parameters intact. Perhaps surprisingly, in this work we show that a proper way to calibrate the parameters during the conversion of ANN to SNN can bring significant improvements. We introduce SNN Calibration, a cheap but extraordinarily effective method by leveraging the knowledge within a pre-trained Artificial Neural Network (ANN). Starting by analyzing the conversion error and its propagation through layers theoretically, we propose the calibration algorithm that can correct the error layer-by-layer. The calibration only takes a handful number of training data and several minutes to finish. Moreover, our calibration algorithm can produce SNN with state-of-the-art architecture on the large-scale ImageNet dataset, including MobileNet and RegNet. Extensive experiments demonstrate the effectiveness and efficiency of our algorithm. For example, our advanced pipeline can increase up to 69% top-1 accuracy when converting MobileNet on ImageNet compared to baselines. Codes are released at https://github.com/yhhhli/SNN_Calibration.
Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、次世代のニューラルネットワークのひとつとして認識されている。従来、SNNは、パラメータをそのまま保ちながら、ReLUアクティベーションをスパイクアクティベーションに置き換えるだけで、事前訓練されたANNから変換できる。おそらく、この研究で、ANNからSNNへの変換中にパラメータを校正する適切な方法が、大幅な改善をもたらすことを示しています。 SNNキャリブレーション(SNN Calibration)は,事前学習したニューラルネットワーク(ANN)の知識を活用することで,安価だが極めて効果的な手法である。理論的には変換誤差とその層間伝播の解析から始め,誤差層を層間補正するキャリブレーションアルゴリズムを提案する。キャリブレーションはほんの数回のトレーニングデータと数分で完了する。さらに,我々のキャリブレーションアルゴリズムは,MobileNetやRegNetを含む大規模画像Netデータセット上で,最先端アーキテクチャのSNNを生成することができる。広範な実験により,アルゴリズムの有効性と効率が実証された。例えば、imagenetでmobilenetをベースラインに変換する場合、当社の高度なパイプラインでは、トップ1の精度が最大69%向上します。コードはhttps://github.com/yhhhli/snn_calibrationでリリースされる。

関連論文リスト

One-Spike SNN: Single-Spike Phase Coding with Base Manipulation for ANN-to-SNN Conversion Loss Minimization [0.41436032949434404]
スパイクニューラルネットワーク(SNN)はイベント駆動であるため、エネルギー効率は従来の人工ニューラルネットワーク(ANN)よりも高い。本研究では,SNN層間でデータを転送するスパイク数を最小限に抑える符号化方式として,単一スパイク位相符号化を提案する。 ANNに対する追加のトレーニングやアーキテクチャ上の制約がなければ、提案手法はCIFARとImageNetデータセットによる3つの畳み込みニューラルネットワーク(CNN)上で検証された推論精度(平均0.58%)を失うことはない。
論文参考訳（メタデータ） (2024-01-30T02:00:28Z)
Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は低消費電力と時間情報処理の特徴的な特徴から注目されている。 ANN-SNN変換は、SNNに適用するための最も一般的な訓練方法であり、変換されたSNNが大規模データセット上でANNに匹敵するパフォーマンスを達成することを確実にする。本稿では、異なる変換誤差を評価してこれらの誤りを除去する代わりに、実際のSNN発射速度と所望のSNN発射速度のずれ度を測定するためにオフセットスパイクを定義する。
論文参考訳（メタデータ） (2023-02-21T14:10:56Z)
Reducing ANN-SNN Conversion Error through Residual Membrane Potential [19.85338979292052]
スパイキングニューラルネットワーク(SNN)は、低消費電力のユニークな特性とニューロモルフィックチップ上の高速コンピューティングにより、広く学術的な注目を集めている。本稿では,不均一な誤差を詳細に解析し,それを4つのカテゴリに分割する。本研究では,残膜電位に基づく最適化手法を提案する。
論文参考訳（メタデータ） (2023-02-04T04:44:31Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Optimized Potential Initialization for Low-latency Spiking Neural Networks [21.688402090967497]
スパイキングニューラルネットワーク (SNN) は低消費電力, 生物学的可視性, 敵の強靭性といった特徴により, 非常に重要視されている。ディープSNNをトレーニングする最も効果的な方法は、ディープネットワーク構造と大規模データセットで最高のパフォーマンスを実現したANN-to-SNN変換である。本稿では、非常に低レイテンシ(32段階未満)で高性能に変換されたSNNを実現することを目的とする。
論文参考訳（メタデータ） (2022-02-03T07:15:43Z)
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文参考訳（メタデータ） (2021-12-12T17:13:14Z)
Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文参考訳（メタデータ） (2020-09-28T03:29:19Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Training Deep Spiking Neural Networks [0.0]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。 CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
論文参考訳（メタデータ） (2020-06-08T09:47:05Z)
You Only Spike Once: Improving Energy-Efficient Neuromorphic Inference to ANN-Level Accuracy [51.861168222799186]
スパイキングニューラルネットワーク(英: Spiking Neural Networks、SNN)は、神経型ネットワークの一種である。 SNNはスパースであり、重量はごくわずかであり、通常、より電力集約的な乗算および累積演算の代わりに追加操作のみを使用する。本研究では,TTFS符号化ニューロモルフィックシステムの限界を克服することを目的としている。
論文参考訳（メタデータ） (2020-06-03T15:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。