論文の概要: A flexible framework for structural plasticity in GPU-accelerated sparse spiking neural networks

• arxiv url: http://arxiv.org/abs/2510.19764v1
• Date: Wed, 22 Oct 2025 16:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.154982
• Title: A flexible framework for structural plasticity in GPU-accelerated sparse spiking neural networks
• Title（参考訳）: GPU加速スパーススパイクニューラルネットワークにおける構造可塑性の柔軟な枠組み
• Authors: James C. Knight, Johanna Senk, Thomas Nowotny,
• Abstract要約: 生物学的脳では、構造的可塑性は効果的な学習だけでなく、損傷からの回復や最適な資源利用にも不可欠である。 プルーニングは機械学習において、推論の計算要求を減らすために訓練されたモデルから弱い接続を取り除くためにしばしば用いられる。 本稿では,GPUを加速する構造的塑性規則を実装するためのフレキシブルなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 2.560446860313122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The majority of research in both training Artificial Neural Networks (ANNs) and modeling learning in biological brains focuses on synaptic plasticity, where learning equates to changing the strength of existing connections. However, in biological brains, structural plasticity - where new connections are created and others removed - is also vital, not only for effective learning but also for recovery from damage and optimal resource usage. Inspired by structural plasticity, pruning is often used in machine learning to remove weak connections from trained models to reduce the computational requirements of inference. However, the machine learning frameworks typically used for backpropagation-based training of both ANNs and Spiking Neural Networks (SNNs) are optimized for dense connectivity, meaning that pruning does not help reduce the training costs of ever-larger models. The GeNN simulator already supports efficient GPU-accelerated simulation of sparse SNNs for computational neuroscience and machine learning. Here, we present a new flexible framework for implementing GPU-accelerated structural plasticity rules and demonstrate this first using the e-prop supervised learning rule and DEEP R to train efficient, sparse SNN classifiers and then, in an unsupervised learning context, to learn topographic maps. Compared to baseline dense models, our sparse classifiers reduce training time by up to 10x while the DEEP R rewiring enables them to perform as well as the original models. We demonstrate topographic map formation in faster-than-realtime simulations, provide insights into the connectivity evolution, and measure simulation speed versus network size. The proposed framework will enable further research into achieving and maintaining sparsity in network structure and neural communication, as well as exploring the computational benefits of sparsity in a range of neuromorphic applications.
• Abstract（参考訳）: ANN(Artificial Neural Networks)のトレーニングと、生物学的脳における学習のモデリングの両方における研究の大部分は、学習が既存の接続の強度を変えるのに等しいシナプス的可塑性に焦点を当てている。 しかし、生物学的な脳では、構造的可塑性(新しい接続が作られ、他のものを除去する)は効果的な学習だけでなく、損傷からの回復や最適な資源利用にも不可欠である。 構造的可塑性にインスパイアされたプルーニングは、推論の計算要求を減らすために訓練されたモデルから弱い接続を除去するために機械学習でしばしば使用される。 しかしながら、一般的にANNとスパイキングニューラルネットワーク(SNN)の両方のバックプロパゲーションベースのトレーニングに使用される機械学習フレームワークは、高密度接続に最適化されている。 GeNNシミュレータはすでに、計算神経科学と機械学習のためのスパースSNNのGPU加速シミュレーションをサポートしている。 本稿では,GPUを高速化する構造的可塑性ルールを実装するためのフレキシブルなフレームワークを提案する。このフレームワークは,まずe-prop教師付き学習規則とDEEP Rを用いて,効率的なSNN分類器を訓練し,次に教師なし学習コンテキストで地形図を学習する。 ベースライン高密度モデルと比較して、我々のスパース分類器はトレーニング時間を最大10倍に短縮し、DEEP Rは元のモデルと同等に動作させることができる。 本研究では, リアルタイムシミュレーションにおける地形図の生成を実演し, 接続の進化に関する洞察を提供し, シミュレーション速度とネットワークサイズを計測する。 提案したフレームワークは、ネットワーク構造およびニューラル通信におけるスパーシティの達成と維持に関するさらなる研究を可能にするとともに、ニューロモルフィックな応用範囲におけるスパーシティの計算上の利点を探求する。

関連論文リスト

• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
  本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。 具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。 我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-22T17:56:59Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。