論文の概要: Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking
Neural Networks
- arxiv url: http://arxiv.org/abs/2311.16141v1
- Date: Sun, 5 Nov 2023 12:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-03 13:18:01.615329
- Title: Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking
Neural Networks
- Title(参考訳): 脳にインスパイアされた効率的なプルーニング:スパイクニューラルネットワークにおける臨界点の爆発
- Authors: Shuo Chen, Boxiao Liu, Haihang You
- Abstract要約: Spiking Neural Networks(SNN)は、限られたコンピューティングリソースと消費電力の少ないデバイスにデプロイする上で、魅力的な選択肢である。
既存の手法では、プルーニング決定を行うのに高い時間的オーバーヘッドが必要となる。
クリティカルプルーンドネットワークを効率的に取得するための臨界度に基づく再生機構を提案する。
- 参考スコア(独自算出の注目度): 10.04112037564725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking Neural Networks (SNNs) have been an attractive option for deployment
on devices with limited computing resources and lower power consumption because
of the event-driven computing characteristic. As such devices have limited
computing and storage resources, pruning for SNNs has been widely focused
recently. However, the binary and non-differentiable property of spike signals
make pruning deep SNNs challenging, so existing methods require high time
overhead to make pruning decisions. In this paper, inspired by critical brain
hypothesis in neuroscience, we design a regeneration mechanism based on
criticality to efficiently obtain the critical pruned networks. Firstly, we
propose a low-cost metric for the criticality of pruning structures. Then we
re-rank the pruned structures after pruning and regenerate those with higher
criticality. We evaluate our method using VGG-16 and ResNet-19 for both
unstructured pruning and structured pruning. Our method achieves higher
performance compared to current state-of-the-art (SOTA) method with the same
time overhead. We also achieve comparable performances (even better on VGG-16)
compared to the SOTA method with 11.3x and 15.5x acceleration. Moreover, we
investigate underlying mechanism of our method and find that it efficiently
selects potential structures, learns the consistent feature representations and
reduces the overfitting during the recovery phase.
- Abstract(参考訳): Spiking Neural Networks(SNN)は、イベント駆動型コンピューティング特性のため、限られたコンピューティングリソースと消費電力の少ないデバイスにデプロイする上で、魅力的な選択肢である。
このようなデバイスはコンピュータとストレージのリソースが限られているため、SNNのプルーニングは近年広く注目されている。
しかし、スパイク信号のバイナリおよび非微分可能な性質は、プルーニング深いSNNを困難にするため、既存の手法ではプルーニング決定に高い時間的オーバーヘッドを必要とする。
本稿では,神経科学における臨界脳仮説に着想を得て,臨界性に基づく再生機構を考案し,臨界プラニングネットワークを効率的に獲得する。
まず,刈り込み構造の臨界度に対する低コストな計量法を提案する。
次いで, 刈り込み後の刈り込み構造を再現し, 高い臨界度で再現した。
VGG-16とResNet-19を用いて非構造化プルーニングと構造化プルーニングの両方について評価を行った。
提案手法は, 現状技術(SOTA)法と比較して, 同じ時間オーバーヘッドで高い性能を実現する。
また、11.3xと15.5xの加速を持つSOTA法と比較して、同等の性能(VGG-16よりも優れている)を達成する。
さらに,本手法の基盤となるメカニズムを調査し,ポテンシャル構造を効率的に選択し,一貫した特徴表現を学習し,リカバリフェーズにおける過剰フィッティングを低減できることを見出した。
関連論文リスト
- OR Residual Connection Achieving Comparable Accuracy to ADD Residual
Connection in Deep Residual Spiking Neural Networks [12.434147384452379]
スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。
調査では,深部スパイクニューラルネットワークの代表であるSEW-ResNetが,非イベント駆動の操作を取り入れていることを確認した。
高量子化に起因するエネルギー損失を相殺するために、アーキテクチャにORRC(OR Residual connection)を導入する。
論文 参考訳(メタデータ) (2023-11-11T13:36:27Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper
Directly-Trained Spiking Neural Networks [19.490903216456758]
スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。
既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:39:46Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Advancing Residual Learning towards Powerful Deep Spiking Neural
Networks [16.559670769601038]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。
MS-ResNet 104はImageNetで76.02%の精度を達成した。
論文 参考訳(メタデータ) (2021-12-15T05:47:21Z) - Advancing Deep Residual Learning by Solving the Crux of Degradation in
Spiking Neural Networks [21.26300397341615]
残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。
本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
論文 参考訳(メタデータ) (2021-12-09T06:29:00Z) - Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。
ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。
本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文 参考訳(メタデータ) (2021-05-11T10:05:53Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。