論文の概要: Going Deeper With Directly-Trained Larger Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2011.05280v2
- Date: Fri, 18 Dec 2020 06:50:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-01 22:01:17.599254
- Title: Going Deeper With Directly-Trained Larger Spiking Neural Networks
- Title（参考訳）: 直接学習された大きなスパイクニューラルネットワークでさらに深まる
- Authors: Hanle Zheng, Yujie Wu, Lei Deng, Yifan Hu and Guoqi Li
- Abstract要約: スパイキングニューラルネットワーク(SNN)は、バイオユースブルな情報とイベント駆動信号処理のためのコーディングを約束している。
しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。
CIF依存型バッチ正規化法(tpladBN)を提案する。
- 参考スコア（独自算出の注目度）: 20.40894876501739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) are promising in a bio-plausible coding for
spatio-temporal information and event-driven signal processing, which is very
suited for energy-efficient implementation in neuromorphic hardware. However,
the unique working mode of SNNs makes them more difficult to train than
traditional networks. Currently, there are two main routes to explore the
training of deep SNNs with high performance. The first is to convert a
pre-trained ANN model to its SNN version, which usually requires a long coding
window for convergence and cannot exploit the spatio-temporal features during
training for solving temporal tasks. The other is to directly train SNNs in the
spatio-temporal domain. But due to the binary spike activity of the firing
function and the problem of gradient vanishing or explosion, current methods
are restricted to shallow architectures and thereby difficult in harnessing
large-scale datasets (e.g. ImageNet). To this end, we propose a
threshold-dependent batch normalization (tdBN) method based on the emerging
spatio-temporal backpropagation, termed "STBP-tdBN", enabling direct training
of a very deep SNN and the efficient implementation of its inference on
neuromorphic hardware. With the proposed method and elaborated shortcut
connection, we significantly extend directly-trained SNNs from a shallow
structure ( < 10 layer) to a very deep structure (50 layers). Furthermore, we
theoretically analyze the effectiveness of our method based on "Block Dynamical
Isometry" theory. Finally, we report superior accuracy results including 93.15
% on CIFAR-10, 67.8 % on DVS-CIFAR10, and 67.05% on ImageNet with very few
timesteps. To our best knowledge, it's the first time to explore the
directly-trained deep SNNs with high performance on ImageNet.
- Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、時空間情報とイベント駆動の信号処理のためのバイオプレースブルコーディングにおいて有望であり、ニューロモルフィックハードウェアにおけるエネルギー効率のよい実装に非常に適している。
しかし、SNNのユニークな動作モードにより、従来のネットワークよりもトレーニングが困難になる。
現在、高い性能で深層SNNの訓練を行うための2つの主要なルートがある。
まず、事前訓練されたannモデルをsnnバージョンに変換する。これは通常、収束のために長いコーディングウィンドウが必要であり、時間的タスクを解決するためのトレーニング中に時空間的特徴を活用できない。
もう1つは、時空間領域でSNNを直接訓練することである。
しかし、発火関数のバイナリスパイク活動と勾配消滅や爆発の問題により、現在の手法は浅いアーキテクチャに限定され、大規模なデータセット(イメージネットなど)を利用するのが困難である。
そこで本研究では,STBP-tdBNと呼ばれる新たな時空間バックプロパゲーションに基づく閾値依存型バッチ正規化(tdBN)手法を提案する。
提案手法と細かなショートカット接続により,浅い構造(<10層)から非常に深い構造(50層)まで,直接学習したSNNを著しく拡張する。
さらに,本手法の有効性を「ブロック力学等尺法」理論に基づいて理論的に解析した。
最後に,cifar-10では93.15 %,dvs-cifar10では67.8 %,imagenetでは67.05%であった。
私たちの知る限り、ImageNet上で直接訓練されたディープSNNをハイパフォーマンスで探索するのは初めてです。
関連論文リスト
- Deep Directly-Trained Spiking Neural Networks for Object Detection [20.594942840081757]
EMS-YOLOは、オブジェクト検出のための、直接訓練されたSNNフレームワークである。
低消費電力で直接学習したSNNの深さを効果的に拡張できるフルスパイク残差ブロック EMS-ResNet を設計する。
このモデルでは、同じアーキテクチャでANNに匹敵する性能を達成できる一方で、5.83倍のエネルギーを消費できることが示されている。
論文 参考訳（メタデータ） (2023-07-21T08:10:26Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。
高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
論文 参考訳（メタデータ） (2022-03-02T14:59:57Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳（メタデータ） (2021-12-12T17:13:14Z) - Sparse Spiking Gradient Descent [2.741266294612776]
本稿では,従来の手法と同等あるいはより高精度なSNNバックプロパゲーションアルゴリズムを提案する。
本稿では,複雑性の異なる実データセットに対する本手法の有効性を示す。
論文 参考訳（メタデータ） (2021-05-18T20:00:55Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike
Timing Dependent Backpropagation [10.972663738092063]
Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する
本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。
我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
論文 参考訳（メタデータ） (2020-05-04T19:30:43Z) - T2FSNN: Deep Spiking Neural Networks with Time-to-first-spike Coding [26.654533157221973]
本稿では,カーネルベースの動的しきい値とデンドライトを用いて,深層SNNにタイム・ツー・ファースト・スパイク・コーディングを組み込むことによって,その欠点を克服する手法を提案する。
提案手法は,バースト符号化法と比較して,推定遅延とスパイク回数を22%,1%以下に削減できる。
論文 参考訳（メタデータ） (2020-03-26T04:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。