Fugu-MT 論文翻訳(概要): Rethinking Pretraining as a Bridge from ANNs to SNNs

論文の概要: Rethinking Pretraining as a Bridge from ANNs to SNNs

arxiv url: http://arxiv.org/abs/2203.01158v3
Date: Fri, 4 Mar 2022 03:07:22 GMT
ステータス: 処理完了
システム内更新日: 2022-03-07 12:13:27.454503
Title: Rethinking Pretraining as a Bridge from ANNs to SNNs
Title（参考訳）: プレトレーニングをANNからSNNへのブリッジとして再考
Authors: Yihan Lin, Yifan Hu, Shijie Ma, Guoqi Li, Dongjie Yu
Abstract要約: スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
参考スコア（独自算出の注目度）: 13.984523794353477
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spiking neural networks (SNNs) are known as a typical kind of brain-inspired models with their unique features of rich neuronal dynamics, diverse coding schemes and low power consumption properties. How to obtain a high-accuracy model has always been the main challenge in the field of SNN. Currently, there are two mainstream methods, i.e., obtaining a converted SNN through converting a well-trained Artificial Neural Network (ANN) to its SNN counterpart or training an SNN directly. However, the inference time of a converted SNN is too long, while SNN training is generally very costly and inefficient. In this work, a new SNN training paradigm is proposed by combining the concepts of the two different training methods with the help of the pretrain technique and BP-based deep SNN training mechanism. We believe that the proposed paradigm is a more efficient pipeline for training SNNs. The pipeline includes pipeS for static data transfer tasks and pipeD for dynamic data transfer tasks. SOTA results are obtained in a large-scale event-driven dataset ES-ImageNet. For training acceleration, we achieve the same (or higher) best accuracy as similar LIF-SNNs using 1/10 training time on ImageNet-1K and 2/5 training time on ES-ImageNet and also provide a time-accuracy benchmark for a new dataset ES-UCF101. These experimental results reveal the similarity of the functions of parameters between ANNs and SNNs and also demonstrate the various potential applications of this SNN training pipeline.
Abstract（参考訳）: スパイキングニューラルネットワーク(snn)は、脳にインスパイアされた典型的なモデルとして知られ、その特徴は、豊富な神経細胞のダイナミクス、多様なコーディングスキーム、低消費電力特性である。高精度モデルを得る方法は、SNNの分野では常に主要な課題である。現在、よく訓練されたニューラルネットワーク(ANN)をSNNに変換したり、SNNを直接訓練することで、変換されたSNNを得る2つの主要な方法が存在する。しかしながら、変換されたSNNの推論時間は長すぎるが、SNNトレーニングは一般的に非常に費用がかかり非効率である。本研究では,2つの異なるトレーニング手法の概念を,プレトレイン技術とBPベースの深部SNNトレーニング機構の助けを借りて組み合わせることで,新しいSNNトレーニングパラダイムを提案する。提案するパラダイムは、SNNをトレーニングするためのより効率的なパイプラインであると考えています。パイプラインには静的データ転送タスク用のパイプと動的データ転送タスク用のパイプが含まれている。 SOTAの結果は、大規模なイベント駆動データセットES-ImageNetで得られる。トレーニングアクセラレーションでは、ImageNet-1Kでの1/10のトレーニング時間とES-ImageNetでの2/5のトレーニング時間と、新しいデータセットES-UCF101の時間精度ベンチマークを用いて、同様のLIF-SNNと同じ(あるいはそれ以上の)精度を達成する。これらの実験結果は、ANNとSNNのパラメータ関数の類似性を明らかにし、このSNNトレーニングパイプラインの様々な可能性を示す。

関連論文リスト

Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff [33.91830001268308]
スパイキングニューラルネットワーク(SNN)は、計算効率を有望に改善する。現在のSNNトレーニング手法は、主に固定時間ステップアプローチを採用している。本稿では,効率的な推論を実現するために,推論中にいつでもSNNを終了できるSNNの遮断を検討することを提案する。
論文参考訳（メタデータ） (2023-01-23T16:14:09Z)
Spikeformer: A Novel Architecture for Training High-Performance Low-Latency Spiking Neural Network [6.8125324121155275]
静的データセットとニューロモルフィックデータセットの両方において,トランスフォーマーをベースとした新しいSNNであるSpikeformerを提案する。注目すべきは、SpikeformerはImageNet上の他のSNNよりも大きなマージン(5%以上)で、DVS-GestureとImageNetでANNよりも3.1%、そして2.2%高いパフォーマンスである。
論文参考訳（メタデータ） (2022-11-19T12:49:22Z)
SNN2ANN: A Fast and Memory-Efficient Training Framework for Spiking Neural Networks [117.56823277328803]
スパイクニューラルネットワークは、低消費電力環境における効率的な計算モデルである。本稿では,SNNを高速かつメモリ効率で学習するためのSNN-to-ANN(SNN2ANN)フレームワークを提案する。実験結果から,SNN2ANNをベースとしたモデルがベンチマークデータセットで良好に動作することが示された。
論文参考訳（メタデータ） (2022-06-19T16:52:56Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴うそこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-12-22T18:47:45Z)
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文参考訳（メタデータ） (2021-12-12T17:13:14Z)
Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-12-06T23:45:58Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Training Deep Spiking Neural Networks [0.0]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)とニューロモルフィックハードウェアは、エネルギー効率を桁違いに高める可能性がある。 CIFAR100およびImagenetteオブジェクト認識データセット上で、ResNet50アーキテクチャでSNNをトレーニングすることが可能であることを示す。訓練されたSNNは、類似のANNと比較して精度が劣るが、数桁の推論時間ステップを必要とする。
論文参考訳（メタデータ） (2020-06-08T09:47:05Z)
Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。