論文の概要: Criticality-Guided Efficient Pruning in Spiking Neural Networks Inspired by Critical Brain Hypothesis

• arxiv url: http://arxiv.org/abs/2311.16141v2
• Date: Sat, 20 Jan 2024 05:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 20:05:18.096029
• Title: Criticality-Guided Efficient Pruning in Spiking Neural Networks Inspired by Critical Brain Hypothesis
• Title（参考訳）: 臨界脳仮説によるスパイキングニューラルネットワークの臨界誘導効率向上
• Authors: Shuo Chen, Boxiao Liu, Haihang You
• Abstract要約: スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。 本稿では,SNNプルーニングのニューロン臨界性に基づく再生機構を提案する。 本手法は,現行の最先端技術(SOTA)法よりも95.26%のコスト削減を実現している。
• 参考スコア（独自算出の注目度）: 10.04112037564725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have gained considerable attention due to the energy-efficient and multiplication-free characteristics. The continuous growth in scale of deep SNNs poses challenges for model deployment. Network pruning reduces hardware resource requirements of model deployment by compressing the network scale. However, existing SNN pruning methods cause high pruning costs and performance loss because the pruning iterations amplify the training difficulty of SNNs. In this paper, inspired by the critical brain hypothesis in neuroscience, we propose a regeneration mechanism based on the neuron criticality for SNN pruning to enhance feature extraction and accelerate the pruning process. Firstly, we propose a low-cost metric for the criticality in SNNs. Then, we re-rank the pruned structures after pruning and regenerate those with higher criticality to obtain the critical network. Our method achieves higher performance than the current state-of-the-art (SOTA) method with up to 95.26% reduction of pruning cost. Moreover, we investigate the underlying mechanism of our method and find that it efficiently selects potential structures and learns the consistent feature representation.
• Abstract（参考訳）: スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。 ディープSNNのスケールの継続的な成長は、モデルデプロイメントに課題をもたらす。 ネットワークプルーニングは、ネットワークスケールを圧縮することで、モデルデプロイメントのハードウェアリソース要求を減らす。 しかし、既存のSNNプルーニング手法は、プルーニング繰り返しがSNNのトレーニング困難を増幅するため、高いプルーニングコストと性能損失を引き起こす。 本稿では,神経科学における臨界脳仮説に触発されて,SNNプルーニングのニューロン臨界性に基づく再生機構を提案し,特徴抽出の促進とプルーニングプロセスの促進を図る。 まず,SNNの臨界度に対する低コストな指標を提案する。 次に, プルーニング後のプルーン構造を再ランク付けし, 臨界度の高い構造を再生し, 臨界ネットワークを得る。 本手法は,現行の最先端技術(SOTA)法よりも95.26%のコスト削減を実現している。 さらに,本手法の基盤となるメカニズムについて検討し,潜在的構造を効率的に選択し,一貫した特徴表現を学ぶ。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Advancing Residual Learning towards Powerful Deep Spiking Neural Networks [16.559670769601038]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。 MS-ResNet 104はImageNetで76.02%の精度を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:47:21Z)
• Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks [21.26300397341615]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:29:00Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。