論文の概要: Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2311.16141v3
• Date: Thu, 21 Nov 2024 06:20:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:17:28.307940
• Title: Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
• Title（参考訳）: 脳にインスパイアされた効率的なプルーニング:スパイクニューラルネットワークにおける臨界点の爆発
• Authors: Shuo Chen, Boxiao Liu, Zeshi Liu, Haihang You,
• Abstract要約: スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。 既存のSNNプルーニング法は,SNNのスパーススパイク表現の処理効率が低いため,高いプルーニングコストと性能損失を引き起こす。 特徴伝達におけるニューロン臨界度を評価するための低コストな指標を提案し,この臨界度をプルーニングプロセスに組み込んだプルーニング再生法を設計する。
• 参考スコア（独自算出の注目度）: 8.178274786227723
• License:
• Abstract: Spiking Neural Networks (SNNs) have gained significant attention due to the energy-efficient and multiplication-free characteristics. Despite these advantages, deploying large-scale SNNs on edge hardware is challenging due to limited resource availability. Network pruning offers a viable approach to compress the network scale and reduce hardware resource requirements for model deployment. However, existing SNN pruning methods cause high pruning costs and performance loss because they lack efficiency in processing the sparse spike representation of SNNs. In this paper, inspired by the critical brain hypothesis in neuroscience and the high biological plausibility of SNNs, we explore and leverage criticality to facilitate efficient pruning in deep SNNs. We firstly explain criticality in SNNs from the perspective of maximizing feature information entropy. Second, We propose a low-cost metric for assess neuron criticality in feature transmission and design a pruning-regeneration method that incorporates this criticality into the pruning process. Experimental results demonstrate that our method achieves higher performance than the current state-of-the-art (SOTA) method with up to 95.26\% reduction of pruning cost. The criticality-based regeneration process efficiently selects potential structures and facilitates consistent feature representation.
• Abstract（参考訳）: スパイキングニューラルネットワーク (SNN) はエネルギー効率と乗算自由特性のために注目されている。 これらのアドバンテージにもかかわらず、エッジハードウェアに大規模なSNNをデプロイするのは、リソースの可用性が制限されているため、難しい。 ネットワークプルーニングは、ネットワークスケールを圧縮し、モデル展開に必要なハードウェアリソースを削減するための実行可能なアプローチを提供する。 しかし,SNNのスパーススパイク表現の処理効率が低いため,既存のSNNプルーニング法では高いプルーニングコストと性能損失が生じる。 本稿では、神経科学における臨界脳仮説とSNNの高い生物学的妥当性から着想を得て、より深いSNNの効率的な刈り取りを容易にするために、臨界性を探究し、活用する。 まず,特徴情報のエントロピーの最大化の観点から,SNNの臨界性を説明する。 第2に,機能伝達におけるニューロン臨界度を評価するための低コストな指標を提案し,この臨界度をプルーニングプロセスに組み込んだプルーニング再生法を設計する。 実験により, 現状技術(SOTA)法よりも高い性能を達成し, 最大95.26 %のプルーニングコスト削減を実現した。 臨界に基づく再生プロセスは、潜在的構造を効率的に選択し、一貫した特徴表現を容易にする。

関連論文リスト

• QP-SNN: Quantized and Pruned Spiking Neural Networks [10.74122828236122]
  スパイキングニューラルネットワーク(SNN)はスパイクを利用して情報をエンコードし、イベント駆動方式で運用する。 資源限定シナリオにおいて,高性能なSNNを効果的に展開することを目的とした,ハードウェアフレンドリで軽量なSNNを提案する。
  論文  参考訳（メタデータ） (2025-02-09T13:50:59Z)
• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Advancing Residual Learning towards Powerful Deep Spiking Neural Networks [16.559670769601038]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。 MS-ResNet 104はImageNetで76.02%の精度を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:47:21Z)
• Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks [21.26300397341615]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:29:00Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。