論文の概要: Cannistraci-Hebb Training on Ultra-Sparse Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2511.05581v1
• Date: Wed, 05 Nov 2025 07:59:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.467809
• Title: Cannistraci-Hebb Training on Ultra-Sparse Spiking Neural Networks
• Title（参考訳）: Cannistraci-Hebbによる超スパーススパイキングニューラルネットワークの訓練
• Authors: Yuan Hua, Jilin Zhang, Yingtao Zhang, Wenqi Gu, Leyi You, Baobo Xiong, Carlo Vittorio Cannistraci, Hong Chen,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は本質的に時間的アクティベーション間隔を持つ。 既存の手法では、大きな性能損失を伴わずに超スパースネットワーク構造を達成できない。 本稿では,SNN のための新規かつ一般化可能な動的スパーストレーニングフレームワークである Cannistraci-Hebb Spiking Neural Network (CH-SNN) を提案する。
• 参考スコア（独自算出の注目度）: 10.30800655748035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the brain's spike-based computation, spiking neural networks (SNNs) inherently possess temporal activation sparsity. However, when it comes to the sparse training of SNNs in the structural connection domain, existing methods fail to achieve ultra-sparse network structures without significant performance loss, thereby hindering progress in energy-efficient neuromorphic computing. This limitation presents a critical challenge: how to achieve high levels of structural connection sparsity while maintaining performance comparable to fully connected networks. To address this challenge, we propose the Cannistraci-Hebb Spiking Neural Network (CH-SNN), a novel and generalizable dynamic sparse training framework for SNNs consisting of four stages. First, we propose a sparse spike correlated topological initialization (SSCTI) method to initialize a sparse network based on node correlations. Second, temporal activation sparsity and structural connection sparsity are integrated via a proposed sparse spike weight initialization (SSWI) method. Third, a hybrid link removal score (LRS) is applied to prune redundant weights and inactive neurons, improving information flow. Finally, the CH3-L3 network automaton framework inspired by Cannistraci-Hebb learning theory is incorporated to perform link prediction for potential synaptic regrowth. These mechanisms enable CH-SNN to achieve sparsification across all linear layers. We have conducted extensive experiments on six datasets including CIFAR-10 and CIFAR-100, evaluating various network architectures such as spiking convolutional neural networks and Spikformer.
• Abstract（参考訳）: 脳のスパイクベースの計算にインスパイアされたスパイキングニューラルネットワーク(SNN)は、本質的に時間的アクティベーション間隔を持つ。 しかし、構造接続領域におけるSNNのスパーストレーニングに関しては、既存の手法では性能低下を伴わずに超スパースネットワーク構造を達成できず、エネルギー効率のよいニューロモルフィックコンピューティングの進歩を妨げる。 この制限は、完全に接続されたネットワークに匹敵する性能を維持しながら、高いレベルの構造的接続空間を実現する方法という、重要な課題を示す。 この課題に対処するため、我々は4段階からなるSNNのための新規で一般化可能な動的スパーストレーニングフレームワークであるCannistraci-Hebb Spiking Neural Network (CH-SNN)を提案する。 まず、ノード相関に基づいてスパースネットワークを初期化するスパーススパイク相関位相初期化法(SSCTI)を提案する。 第二に、時間的アクティベーション間隔と構造的接続間隔を、提案したスパーススパイク重み初期化(SSWI)法により統合する。 第3に、冗長な重みと不活性なニューロンに対してハイブリッドリンク除去スコア(LRS)を適用し、情報の流れを改善する。 最後に、Cannistraci-Hebb学習理論に触発されたCH3-L3ネットワークオートマトンフレームワークを組み込んで、潜在的なシナプス再成長のリンク予測を行う。 これらのメカニズムにより、CH-SNNはすべての線形層をまたがるスペーサー化を実現することができる。 我々は、CIFAR-10やCIFAR-100を含む6つのデータセットに対して広範な実験を行い、スパイキング畳み込みニューラルネットワークやSpikformerなどの様々なネットワークアーキテクチャを評価した。

関連論文リスト

• Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition [52.59263087086756]
  深層ニューラルネットワーク(SNN)のトレーニングは、バッチ正規化のような明示的な正規化スキームに依存している。 本研究では,皮質回路にインスパイアされた側方抑制を取り入れた正規化自由学習フレームワークを提案する。 本稿では,生物リアリズムを持つ深層SNNの安定的学習を可能にするとともに,明示的な正規化に頼らずに競争性能を達成できることを述べる。
  論文  参考訳（メタデータ） (2025-09-27T11:11:30Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• SynA-ResNet: Spike-driven ResNet Achieved through OR Residual Connection [10.702093960098104]
  スパイキングニューラルネットワーク(SNN)は、その生物学的忠実さとエネルギー効率のよいスパイク駆動操作を実行する能力のために、脳のような計算にかなりの注意を払っている。 ORRC(Residual Connection)を通じて大量の冗長情報を蓄積する新しいトレーニングパラダイムを提案する。 次に,SynA(SynA)モジュールを用いて冗長情報をフィルタリングし,背骨における特徴抽出を促進するとともに,ショートカットにおけるノイズや無駄な特徴の影響を抑える。
  論文  参考訳（メタデータ） (2023-11-11T13:36:27Z)
• SpikingJelly: An open-source machine learning infrastructure platform for spike-based intelligence [51.6943465041708]
  スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。 我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
  論文  参考訳（メタデータ） (2023-10-25T13:15:17Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。