論文の概要: Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization
- arxiv url: http://arxiv.org/abs/2607.14672v1
- Date: Thu, 16 Jul 2026 07:38:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.028349
- Title: Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization
- Title（参考訳）: 異なるスパイク時間離散化を有する連続時間スパイクニューラルネットワークのスケーラブルな訓練
- Abstract要約: 連続時間スパイクニューラルネットワーク(SNN)のためのメモリ効率のトレーニングフレームワークを提案する。
微分可能なスパイク時間離散化は、不規則なシナプス前スパイクを一定時間点における微分可能な重み付き事象にマッピングする。
密度の高いLIF層では、DSTDはスパイク時間計算と比較してピークメモリの消費を最大100倍に減らし、トレーニング時間を最大20倍に減らした。
- 参考スコア（独自算出の注目度）: 1.489944824637277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continuous-time spiking neural networks (SNNs) provide an event-driven framework for temporal computation, computational neuroscience, and neuromorphic hardware. However, training deep continuous-time SNNs is severely constrained by the memory required for exact spike-time computation, which evaluates and retains candidate firing times over intervals determined by presynaptic spike ordering. Here we introduce a memory-efficient training framework based on differentiable spike-time discretization (DSTD) for leaky integrate-and-fire neurons with general membrane and synaptic time constants. DSTD maps irregular presynaptic spikes onto differentiable weighted events at fixed time points, replacing the input-dependent candidate dimension with $M$ fixed time intervals while accurately approximating continuous-time membrane-potential dynamics. This reduces candidate-related activation memory from $O(N_{\mathrm{out}}N_{\mathrm{in}})$ to $O(N_{\mathrm{out}}M)$ in the case of time-to-first-spike (TTFS) coding, where $N_{\mathrm{in}}$ and $N_{\mathrm{out}}$ denote the numbers of presynaptic and postsynaptic neurons, respectively. We further introduce synfire-chain-inspired temporal regularization that organizes layer-wise firing windows, mitigates dead-neuron failures, and enables pipeline-like processing. In dense LIF layers, DSTD reduced peak memory consumption by up to approximately 100-fold and training time by up to approximately 20-fold compared with exact spike-time computation. Together, these methods allowed us to train 9-layer convolutional SNNs on CIFAR-10 and 20-layer convolutional SNNs on Fashion-MNIST on a single GPU.
- Abstract（参考訳）: 連続時間スパイクニューラルネットワーク(SNN)は、時間計算、計算神経科学、ニューロモルフィックハードウェアのためのイベント駆動型フレームワークを提供する。
しかし、深部連続時間SNNの訓練は、正確なスパイク時間計算に必要なメモリによって厳しい制約を受けており、予報スパイク順序によって決定された間隔で候補発射時間を評価・保持する。
本稿では、一般的な膜とシナプス時間定数の漏洩した統合・発火ニューロンに対する微分可能なスパイク時間離散化(DSTD)に基づくメモリ効率のトレーニングフレームワークを提案する。
DSTDは不規則な前シナプススパイクを固定時間点における微分可能な重み付き事象にマッピングし、入力依存候補次元を固定時間間隔$M$に置き換え、連続時間膜電位力学を正確に近似する。
これにより、候補関連のアクティベーションメモリが$O(N_{\mathrm{out}}N_{\mathrm{in}})$から$O(N_{\mathrm{out}}M)$に減少し、TTFS(time-to-first-spike)コーディングの場合、$N_{\mathrm{in}}$と$N_{\mathrm{out}}$はそれぞれシナプス前ニューロンと後シナプス後ニューロンの数を表す。
さらに,Synfire-chain-inspireed temporal regularizationを導入し,レイヤワイドのウィンドウを整理し,デッドニューロン障害を緩和し,パイプラインライクな処理を可能にする。
密度の高いLIF層では、DSTDはスパイク時間計算と比較してピークメモリの消費を最大100倍に削減し、トレーニング時間を最大20倍に短縮した。
これらの手法により、CIFAR-10上の9層畳み込みSNNと、Fashion-MNIST上の20層畳み込みSNNを1つのGPU上でトレーニングすることが可能となった。
関連論文リスト
- LongSpike: Fractional Order Spiking State Space Models for Efficient Long Sequence Learning [53.855185131868446]
スパイキングニューラルネットワーク(SNN)は、シーケンシャルデータを処理する際の生物学的な妥当性とエネルギー効率を十分に考慮している。
本研究では,数次状態空間モデリングを統合した新しいSNNフレームワークであるLongSpikeを提案する。
従来の整数階数 SSM を分数計算系に拡張することにより、LongSpike は長いメモリカーネルとニューロンダイナミクスの階層的な統合を可能にする。
論文 参考訳（メタデータ） (2026-06-11T04:54:07Z) - Pretraining Recurrent Networks without Recurrence [28.905819079755762]
リカレントニューラルネットワーク(RNN)のトレーニングには、長い列の計算でクレジットを割り当てる必要がある。
本稿では,再帰的クレジット伝搬を完全にサイドステップとする非線形RNNのトレーニング手法であるSupervised Memory Training (SMT)を提案する。
論文 参考訳（メタデータ） (2026-06-04T17:57:33Z) - Bullet Trains: Parallelizing Training of Temporally Precise Spiking Neural Networks [0.7653446907404775]
SNN(Continuous-time, Event-native Spiking Neural Network)は、スパイクイベントを厳格に処理する。
実践的でエンドツーエンドのトレーニング可能なイベントベースSNNシステムに対する2つの課題に対処する。
まず、並列連想スキャンを用いて複数の入力スパイクを同時に消費し、逐次シミュレーションで最大44倍のスピードアップを発生させる。
第2に、離散時間近似や限定的な解析仮定を使わずに、スパイク時間から機械精度までを計算できる、微分可能なスパイク時間解法を実装した。
論文 参考訳（メタデータ） (2026-02-27T16:13:55Z) - Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。
イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
論文 参考訳（メタデータ） (2026-02-03T09:06:53Z) - Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文 参考訳（メタデータ） (2025-07-22T18:20:56Z) - Efficient Parallel Training Methods for Spiking Neural Networks with Constant Time Complexity [63.56009745101597]
スパイキングニューラルネットワーク (SNN) はしばしば、$T$スパイクのシーケンシャル処理のために、高い時間複雑性の$O(T)$に悩まされる。
本稿では,ネットワークアーキテクチャを変更することなく,SNNトレーニングを高速化するFPT法を提案する。
論文 参考訳（メタデータ） (2025-06-10T13:27:27Z) - PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks [22.47336262812308]
メモリベースの動的グラフニューラルネットワーク(MDGNN)は、動的グラフニューラルネットワークのファミリーであり、メモリモジュールを利用して、長期の時間的依存関係を抽出、抽出、抽出する。
本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
論文 参考訳（メタデータ） (2024-02-06T01:34:56Z) - Accelerating SNN Training with Stochastic Parallelizable Spiking Neurons [1.7056768055368383]
スパイキングニューラルネットワーク(SNN)は、特にニューロモルフィックハードウェアにおいて、少ないエネルギーを使用しながら特徴を学習することができる。
深層学習において最も広く用いられるニューロンは、時間と火災(LIF)ニューロンである。
論文 参考訳（メタデータ） (2023-06-22T04:25:27Z) - Timing-Based Backpropagation in Spiking Neural Networks Without
Single-Spike Restrictions [2.8360662552057323]
スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。
シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
論文 参考訳（メタデータ） (2022-11-29T11:38:33Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。