論文の概要: Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2311.16141v1
• Date: Sun, 5 Nov 2023 12:20:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 13:18:01.615329
• Title: Brain-Inspired Efficient Pruning: Exploiting Criticality in Spiking Neural Networks
• Title（参考訳）: 脳にインスパイアされた効率的なプルーニング:スパイクニューラルネットワークにおける臨界点の爆発
• Authors: Shuo Chen, Boxiao Liu, Haihang You
• Abstract要約: Spiking Neural Networks(SNN)は、限られたコンピューティングリソースと消費電力の少ないデバイスにデプロイする上で、魅力的な選択肢である。 既存の手法では、プルーニング決定を行うのに高い時間的オーバーヘッドが必要となる。 クリティカルプルーンドネットワークを効率的に取得するための臨界度に基づく再生機構を提案する。
• 参考スコア（独自算出の注目度）: 10.04112037564725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have been an attractive option for deployment on devices with limited computing resources and lower power consumption because of the event-driven computing characteristic. As such devices have limited computing and storage resources, pruning for SNNs has been widely focused recently. However, the binary and non-differentiable property of spike signals make pruning deep SNNs challenging, so existing methods require high time overhead to make pruning decisions. In this paper, inspired by critical brain hypothesis in neuroscience, we design a regeneration mechanism based on criticality to efficiently obtain the critical pruned networks. Firstly, we propose a low-cost metric for the criticality of pruning structures. Then we re-rank the pruned structures after pruning and regenerate those with higher criticality. We evaluate our method using VGG-16 and ResNet-19 for both unstructured pruning and structured pruning. Our method achieves higher performance compared to current state-of-the-art (SOTA) method with the same time overhead. We also achieve comparable performances (even better on VGG-16) compared to the SOTA method with 11.3x and 15.5x acceleration. Moreover, we investigate underlying mechanism of our method and find that it efficiently selects potential structures, learns the consistent feature representations and reduces the overfitting during the recovery phase.
• Abstract（参考訳）: Spiking Neural Networks(SNN)は、イベント駆動型コンピューティング特性のため、限られたコンピューティングリソースと消費電力の少ないデバイスにデプロイする上で、魅力的な選択肢である。 このようなデバイスはコンピュータとストレージのリソースが限られているため、SNNのプルーニングは近年広く注目されている。 しかし、スパイク信号のバイナリおよび非微分可能な性質は、プルーニング深いSNNを困難にするため、既存の手法ではプルーニング決定に高い時間的オーバーヘッドを必要とする。 本稿では,神経科学における臨界脳仮説に着想を得て,臨界性に基づく再生機構を考案し,臨界プラニングネットワークを効率的に獲得する。 まず,刈り込み構造の臨界度に対する低コストな計量法を提案する。 次いで, 刈り込み後の刈り込み構造を再現し, 高い臨界度で再現した。 VGG-16とResNet-19を用いて非構造化プルーニングと構造化プルーニングの両方について評価を行った。 提案手法は, 現状技術(SOTA)法と比較して, 同じ時間オーバーヘッドで高い性能を実現する。 また、11.3xと15.5xの加速を持つSOTA法と比較して、同等の性能(VGG-16よりも優れている)を達成する。 さらに,本手法の基盤となるメカニズムを調査し,ポテンシャル構造を効率的に選択し,一貫した特徴表現を学習し,リカバリフェーズにおける過剰フィッティングを低減できることを見出した。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
  スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。 本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。 本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-16T08:58:25Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Advancing Residual Learning towards Powerful Deep Spiking Neural Networks [16.559670769601038]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 MS-ResNetは、直接訓練されたSNNの深さを大幅に拡張することができる。 MS-ResNet 104はImageNetで76.02%の精度を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:47:21Z)
• Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks [21.26300397341615]
  残留学習とショートカットは、ディープニューラルネットワークをトレーニングするための重要なアプローチとして証明されている。 本稿では,SNNの深度を大幅に拡張できる新しい残差ブロックを提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:29:00Z)
• Pruning of Deep Spiking Neural Networks through Gradient Rewiring [41.64961999525415]
  スパイキングニューラルネットワーク(SNN)は、その生物学的妥当性とニューロモルフィックチップの高エネルギー効率により、非常に重要視されている。 ほとんどの既存の方法は、ANNsとSNNsの違いを無視するSNNsに人工ニューラルネットワーク(ANNs)のプルーニングアプローチを直接適用する。 本稿では,ネットワーク構造を無訓練でシームレスに最適化可能な,snsの接続性と重み付けの合同学習アルゴリズムgradle rewiring (gradr)を提案する。
  論文  参考訳（メタデータ） (2021-05-11T10:05:53Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。