論文の概要: Parallel Training in Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2602.01133v1
• Date: Sun, 01 Feb 2026 10:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.616359
• Title: Parallel Training in Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける並列学習
• Authors: Yanbin Huang, Man Yao, Yuqi Pan, Changze Lv, Siyuan Xu, Xiaoqing Zheng, Bo Xu, Guoqi Li,
• Abstract要約: スパイキングニューロンのバイオインスピレーションによる統合発火機構はスパイキングニューラルネットワーク(SNN)の効率的な処理の基礎となる 大規模モデルの最近の進歩は、スパイキングニューロンが現代的なGPU上で効率的にスケールするために高い並列計算をサポートすることを要求している。 本研究は、並列スパイキングニューロンを設計するための一般的なガイダンスを提供する、新しい機能的視点を提案する。
• 参考スコア（独自算出の注目度）: 47.43408320628711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The bio-inspired integrate-fire-reset mechanism of spiking neurons constitutes the foundation for efficient processing in Spiking Neural Networks (SNNs). Recent progress in large models demands that spiking neurons support highly parallel computation to scale efficiently on modern GPUs. This work proposes a novel functional perspective that provides general guidance for designing parallel spiking neurons. We argue that the reset mechanism, which induces complex temporal dependencies and hinders parallel training, should be removed. However, any such modification should satisfy two principles: 1) preserving the functions of reset as a core biological mechanism; and 2) enabling parallel training without sacrificing the serial inference ability of spiking neurons, which underpins their efficiency at test time. To this end, we identify the functions of the reset and analyze how to reconcile parallel training with serial inference, upon which we propose a dynamic decay spiking neuron. We conduct comprehensive testing of our method in terms of: 1) Training efficiency and extrapolation capability. On 16k-length sequences, we achieve a 25.6x training speedup over the pioneering parallel spiking neuron, and our models trained on 2k-length can stably perform inference on sequences as long as 30k. 2) Generality. We demonstrate the consistent effectiveness of the proposed method across five task categories (image classification, neuromorphic event processing, time-series forecasting, language modeling, and reinforcement learning), three network architectures (spiking CNN/Transformer/SSMs), and two spike activation modes (spike/integer activation). 3) Energy consumption. The spiking firing of our neuron is lower than that of vanilla and existing parallel spiking neurons.
• Abstract（参考訳）: スパイキングニューロンのバイオインスパイアされた統合発火機構は、スパイキングニューラルネットワーク(SNN)の効率的な処理の基礎となっている。 大規模モデルの最近の進歩は、スパイキングニューロンが現代的なGPU上で効率的にスケールするために高い並列計算をサポートすることを要求している。 本研究は、並列スパイキングニューロンを設計するための一般的なガイダンスを提供する、新しい機能的視点を提案する。 我々は、複雑な時間的依存を誘発し、並列トレーニングを妨げるリセット機構を除去すべきであると主張している。 しかし、このような修正は2つの原則を満たすべきである。 1)リセットの機能を核となる生物学的機構として保持すること,及び 2) スパイキングニューロンのシリアル推論能力を犠牲にすることなく並列トレーニングが可能であり, テスト時の効率を支えている。 この目的のために、リセットの機能を特定し、並列トレーニングをシリアル推論と組み合わせる方法について分析し、動的減衰スパイクニューロンを提案する。 当社の手法の総合的な試験は以下の通りである。 1)訓練効率と外挿能力。 16k長の配列では、先駆的な並列スパイクニューロンよりも25.6倍のトレーニングスピードアップを実現し、2k長でトレーニングされたモデルでは、30kまでの配列で安定して推論を行うことができる。 2)一般性。 提案手法は,5つのタスクカテゴリ(画像分類,ニューロモルフィックイベント処理,時系列予測,言語モデリング,強化学習),3つのネットワークアーキテクチャ(CNN/Transformer/SSMをスパイクする),2つのスパイクアクティベーションモード(スパイク/整数アクティベーション)で一貫した有効性を示す。 3)エネルギー消費。 我々のニューロンのスパイクは、バニラや既存の並列スパイクニューロンよりも低い。

関連論文リスト

• Multiplication-Free Parallelizable Spiking Neurons with Efficient Spatio-Temporal Dynamics [40.43988645674521]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークにインスパイアされた複雑な神経力学とスパースバイナリアクティベーション(スパイクス)によって、ニューラルネットワーク(ANN)と区別される。 従来のニューロンモデルは反復的なステップバイステップのダイナミクスを使用し、シリアル計算とSNNの遅いトレーニング速度をもたらす。 近年、SNNの訓練を加速するために、グラフィックス処理ユニットの大規模並列計算能力をフル活用するために並列化可能なスパイクニューロンモデルが提案されている。
  論文  参考訳（メタデータ） (2025-01-24T13:44:08Z)
• PRF: Parallel Resonate and Fire Neuron for Long Sequence Learning in Spiking Neural Networks [6.545474731089018]
  スパイキングニューラルネットワーク(SNN)における長周期学習の効率性と性能の課題を同時に解決する。 まず,典型的なLeaky Integrate-and-Fire(LIF)モデルのトレーニング時間を$O(L2)$から$O(Llog L)$に短縮する。 第二に、長距離依存性を捉えるために、複素領域における微分可能リセット関数から共振機構によって駆動される振動膜電位を利用するパラレル共鳴・火災ニューロン(PRF)を提案する。
  論文  参考訳（メタデータ） (2024-10-04T15:51:56Z)
• Exploring the Limitations of Layer Synchronization in Spiking Neural Networks [0.3284483366177839]
  真に非同期なシステムでは、すべてのニューロンが閾値を同時に評価し、シナプス前電流を受けるとスパイクを発生させることができる。 スパイクを減らし、推論を高速化し、競争力や精度を向上する非同期処理の可能性を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:39:23Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection for Autonomous Driving [0.0]
  Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。 まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
  論文  参考訳（メタデータ） (2022-06-06T20:05:17Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。