Fugu-MT 論文翻訳(概要): Adaptive Sparse Structure Development with Pruning and Regeneration for Spiking Neural Networks

論文の概要: Adaptive Sparse Structure Development with Pruning and Regeneration for Spiking Neural Networks

arxiv url: http://arxiv.org/abs/2211.12219v1
Date: Tue, 22 Nov 2022 12:23:30 GMT
ステータス: 処理完了
システム内更新日: 2022-11-23 16:33:26.298566
Title: Adaptive Sparse Structure Development with Pruning and Regeneration for Spiking Neural Networks
Title（参考訳）: スパイクニューラルネットワークのプルーニングと再生による適応的スパース構造構築
Authors: Bing Han, Feifei Zhao, Yi Zeng, Wenxuan Pan
Abstract要約: スパイキングニューラルネットワーク(SNN)は、深層ニューラルネットワークのエネルギー問題を緩和するために、脳発達のスパース構造的可塑性を描くという自然な利点がある。本稿では, 樹状突起塑性をベースとしたシナプス拘束, 神経切断, シナプス再生を取り入れたSNNの適応的構造発達手法を提案する。
参考スコア（独自算出の注目度）: 6.760855795263126
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spiking Neural Networks (SNNs) are more biologically plausible and computationally efficient. Therefore, SNNs have the natural advantage of drawing the sparse structural plasticity of brain development to alleviate the energy problems of deep neural networks caused by their complex and fixed structures. However, previous SNNs compression works are lack of in-depth inspiration from the brain development plasticity mechanism. This paper proposed a novel method for the adaptive structural development of SNN (SD-SNN), introducing dendritic spine plasticity-based synaptic constraint, neuronal pruning and synaptic regeneration. We found that synaptic constraint and neuronal pruning can detect and remove a large amount of redundancy in SNNs, coupled with synaptic regeneration can effectively prevent and repair over-pruning. Moreover, inspired by the neurotrophic hypothesis, neuronal pruning rate and synaptic regeneration rate were adaptively adjusted during the learning-while-pruning process, which eventually led to the structural stability of SNNs. Experimental results on spatial (MNIST, CIFAR-10) and temporal neuromorphic (N-MNIST, DVS-Gesture) datasets demonstrate that our method can flexibly learn appropriate compression rate for various tasks and effectively achieve superior performance while massively reducing the network energy consumption. Specifically, for the spatial MNIST dataset, our SD-SNN achieves 99.51\% accuracy at the pruning rate 49.83\%, which has a 0.05\% accuracy improvement compared to the baseline without compression. For the neuromorphic DVS-Gesture dataset, 98.20\% accuracy with 1.09\% improvement is achieved by our method when the compression rate reaches 55.50\%.
Abstract（参考訳）: スパイキングニューラルネットワーク(snn)は、より生物学的に有理で計算効率が高い。したがって、SNNは、複雑な構造と固定された構造によって引き起こされるディープニューラルネットワークのエネルギー問題を緩和するために、脳発達のスパース構造的可塑性を描くという自然な利点がある。しかし、以前のsns圧縮作業は脳発達の可塑性機構からの深いインスピレーションを欠いている。本稿では, 樹状突起塑性を用いたシナプス拘束, 神経切断, シナプス再生を導入したSNN (SD-SNN) の適応的構造発達法を提案する。シナプス的拘束と神経プルーニングはSNNの大量の冗長性を検出・除去し,シナプス的再生と組み合わせることでオーバープルーニングを効果的に予防・修復できることがわかった。さらに, 神経栄養仮説, 神経切断速度, シナプス再生速度は, 学習前後に適応的に調整され, 最終的にSNNの構造安定性に繋がった。空間的 (MNIST, CIFAR-10) と時間的ニューロモルフィック (N-MNIST, DVS-Gesture) のデータセットによる実験結果から, 本手法は様々なタスクに対する適切な圧縮率を柔軟に学習し, ネットワークエネルギー消費を大幅に削減し, 優れた性能を実現することができることを示した。具体的には、空間的MNISTデータセットに対して、SD-SNNは99.51\%の精度をプルーニングレート49.83\%で達成し、圧縮のないベースラインと比較して0.05\%の精度向上を実現した。ニューロモルフィックDVS-Gestureデータセットでは、圧縮率が55.50.%に達すると、1.09.%の改善を伴う98.20.%の精度が得られる。

関連論文リスト

Fractional-order spike-timing-dependent gradient descent for multi-layer spiking neural networks [18.142378139047977]
本稿では,数次スパイクタイピング依存勾配勾配(FOSTDGD)学習モデルを提案する。 TheNISTとDVS128 Gestureデータセットでテストし、その精度を異なるネットワーク構造と分数順序で分析する。
論文参考訳（メタデータ） (2024-10-20T05:31:34Z)
Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文参考訳（メタデータ） (2024-10-08T14:27:28Z)
Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object Recognition with Spiking Neural Network [5.174808367448261]
スパイキングニューラルネットワーク(SNN)を用いたニューロモーフィック物体認識は、低消費電力ニューロモーフィックコンピューティングの基盤となっている。既存のSNNは、ニューロモルフィックオブジェクトを認識するために10から40回以上のタイムステップを利用して、かなりの遅延に悩まされている。本研究では,Shrinking SNN(SSNN)を提案する。
論文参考訳（メタデータ） (2024-01-02T02:05:05Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
PC-SNN: Supervised Learning with Local Hebbian Synaptic Plasticity based on Predictive Coding in Spiking Neural Networks [1.6172800007896282]
本稿では,予測符号化理論に触発された新しい学習アルゴリズムを提案する。教師あり学習を完全自律的に行うことができ、バックプロップとして成功することを示す。この手法は,最先端の多層SNNと比較して,良好な性能を実現する。
論文参考訳（メタデータ） (2022-11-24T09:56:02Z)
On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文参考訳（メタデータ） (2022-06-21T09:42:30Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
論文参考訳（メタデータ） (2021-05-27T08:38:31Z)
Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
論文参考訳（メタデータ） (2021-05-11T10:05:53Z)
Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-02T15:38:44Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。