論文の概要: Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks
- arxiv url: http://arxiv.org/abs/2112.08954v1
- Date: Wed, 15 Dec 2021 05:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 16:22:59.012848
- Title: Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks
- Title（参考訳）: 強力なディープスパイクニューラルネットワークへの残差学習の進展
- Authors: Yifan Hu, Yujie Wu, Lei Deng, Guoqi Li
- Abstract要約: 残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。
MS-ResNet 104はImageNetで76.02%の精度を達成した。
- 参考スコア（独自算出の注目度）: 16.559670769601038
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the rapid progress of neuromorphic computing, inadequate capacity and
insufficient representation power of spiking neural networks (SNNs) severely
restrict their application scope in practice. Residual learning and shortcuts
have been evidenced as an important approach for training deep neural networks,
but rarely did previous work assess their applicability to the characteristics
of spike-based communication and spatiotemporal dynamics. In this paper, we
first identify that this negligence leads to impeded information flow and
accompanying degradation problem in previous residual SNNs. Then we propose a
novel SNN-oriented residual block, MS-ResNet, which is able to significantly
extend the depth of directly trained SNNs, e.g. up to 482 layers on CIFAR-10
and 104 layers on ImageNet, without observing any slight degradation problem.
We validate the effectiveness of MS-ResNet on both frame-based and neuromorphic
datasets, and MS-ResNet104 achieves a superior result of 76.02% accuracy on
ImageNet, the first time in the domain of directly trained SNNs. Great energy
efficiency is also observed that on average only one spike per neuron is needed
to classify an input sample. We believe our powerful and scalable models will
provide a strong support for further exploration of SNNs.
- Abstract（参考訳）: ニューロモルフィックコンピューティングの急速な進歩にもかかわらず、スパイキングニューラルネットワーク(SNN)の能力不足と表現力不足により、実際には適用範囲が厳しく制限されている。
残存学習とショートカットはディープニューラルネットワークのトレーニングに重要なアプローチとして証明されているが、スパイクベースのコミュニケーションと時空間ダイナミクスの特性にその適用性を評価することは滅多になかった。
本稿では,この無視が,従来の残差SNNにおける障害情報流とそれに伴う劣化問題を引き起こすことを最初に確認する。
次に,CIFAR-10上の482層,ImageNet上の104層など,直接訓練されたSNNの深さを大幅に拡張できる新しいSNN指向残差ブロックMS-ResNetを提案する。
フレームベースとニューロモルフィックの両方のデータセットにおけるms-resnetの有効性を検証し、ms-resnet104はimagenetにおいて76.02%の精度で優れた結果を得た。
大いなるエネルギー効率は、入力サンプルを分類するには平均1つのスパイクのみが必要であることも観察されている。
当社の強力でスケーラブルなモデルは,SNNのさらなる探索に強力なサポートを提供すると思います。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based
on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。
教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。
この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
論文 参考訳（メタデータ） (2022-11-24T09:56:02Z) - Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文 参考訳（メタデータ） (2022-10-12T16:39:46Z) - Attention Spiking Neural Networks [32.591900260554326]
スパイキングニューラルネットワーク(SNN)における注意機構の効果について検討する。
エンド・ツー・エンドのトレーニングを施した新しいSNNアーキテクチャ"MA-SNN"を提案する。
イベントベースDVS128ジェスチャー/歩行動作認識とImageNet-1k画像分類で実験を行った。
論文 参考訳（メタデータ） (2022-09-28T09:00:45Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳（メタデータ） (2022-09-21T21:17:56Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Advancing Deep Residual Learning by Solving the Crux of Degradation in
Spiking Neural Networks [21.26300397341615]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
論文 参考訳（メタデータ） (2021-12-09T06:29:00Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。