論文の概要: Advancing Direct Training for Spiking Neural Networks with Circulate-Firing Neurons and Learnable Gradients

• arxiv url: http://arxiv.org/abs/2605.27412v1
• Date: Thu, 14 May 2026 13:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 02:55:43.026057
• Title: Advancing Direct Training for Spiking Neural Networks with Circulate-Firing Neurons and Learnable Gradients
• Title（参考訳）: 循環型ニューロンと学習可能な勾配を持つスパイキングニューラルネットワークの直接訓練の促進
• Authors: Feifan Zhou, Xiang Wei, Yang Liu, Qiang Yu,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、有望なエネルギー効率特性を持つが、Artificial Neural Networks(ANN)と比較して大きなパフォーマンスギャップが持続する。 まず, 膜電位をより効果的に活用し, 情報表現能力を向上する循環振動ニューロンモデル, 後処理時の正確な勾配推定を可能にする時間段階学習型サロゲート勾配関数, および正負平衡損失関数を用いて, 正負の膜電位と負の膜電位の平衡を達成し, さらにSNN性能を向上する。
• 参考スコア（独自算出の注目度）: 7.789774671413842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking Neural Networks (SNNs) have emerged with promising energy-efficient property, yet a substantial performance gap persists compared to Artificial Neural Networks (ANNs). This gap stems from at least two key limitations: first, conventional spiking neurons offer limited information representation capacity, underutilizing the rich dynamics of membrane potentials; second, fixed surrogate gradient (SG) functions across time steps leads to imprecise gradient propagation, impeding effective direct training. To address these two challenges, we propose a new direct training algorithm with three core innovations: first, a circulate-firing spiking neuron model that enhances information representation capacity by leveraging membrane potentials more effectively; second, a time-step-wise learnable surrogate gradient function, enabling accurate gradient estimation during backpropagation; third, a positive-negative balanced loss function to achieve equilibrium between positive and negative membrane potentials and further boost SNN performance. Extensive experiments demonstrate that our methods achieve competitive performance across multiple datasets. Our methods can generalize seamlessly to advanced architectures of Transformer, consistently outperforming existing methods. Our work highlights the effectiveness of further harnessing intrinsic membrane dynamics of SNNs for performance improvement, and thus open a new avenue for advancing high-performance spiking neural architectures.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、有望なエネルギー効率特性を持つが、Artificial Neural Networks(ANN)と比較して、かなりのパフォーマンスギャップが持続する。 このギャップは少なくとも2つの重要な制限に起因している: 1つ目は、従来のスパイクニューロンは、膜電位の豊かなダイナミクスを弱め、情報表現能力に制限を与え、もう1つは、時間ステップをまたいだ固定された代理勾配(SG)関数は、不正確な勾配伝播を招き、効果的な直接訓練を妨げている。 これら2つの課題に対処するため,第1に,膜電位をより効果的に活用して情報表現能力を高める循環型スパイリングニューロンモデル,第2に,後方伝播時の正確な勾配推定を可能にする時間的に学習可能なサロゲート勾配関数,第3に,正負の平衡損失関数を用いて正負の膜電位と負の膜電位の平衡を達成し,さらにSNN性能を向上する。 大規模な実験により,本手法は複数のデータセット間での競合性能を実証した。 我々の手法はトランスフォーマーの高度なアーキテクチャにシームレスに一般化でき、既存の手法より一貫して優れている。 本研究は,SNNの内在膜力学のさらなる活用による性能向上効果を強調し,高性能スパイクニューラルアーキテクチャの進展に向けた新たな道を開くものである。

関連論文リスト

• General Self-Prediction Enhancement for Spiking Neurons [71.01912385372577]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算によって非常にエネルギー効率が良いが、そのトレーニングは、性能、効率、生物学的妥当性の非微分可能性とトレードオフによって困難である。 本稿では,その入力出力履歴から内部予測電流を生成し,膜電位を変調する自己予測強化スパイキングニューロン法を提案する。 この設計には2つの利点があり、失明した勾配を緩和し、トレーニングの安定性と精度を高める連続的な勾配経路を作成し、また遠位樹状突起変調とエラー駆動のシナプス塑性に類似した生物学的原理と整合する。
  論文  参考訳（メタデータ） (2026-01-29T15:08:48Z)
• DS-ATGO: Dual-Stage Synergistic Learning via Forward Adaptive Threshold and Backward Gradient Optimization for Spiking Neural Networks [18.86237064365729]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、効率的で低エネルギーのニューロモルフィックコンピューティングを実現するための有望な道として認識されている。 本稿では,前方適応しきい値と後方動的SGを実現する2段相乗学習アルゴリズムを提案する。 実験結果から,本手法は性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-17T06:54:21Z)
• Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition [52.59263087086756]
  深層ニューラルネットワーク(SNN)のトレーニングは、バッチ正規化のような明示的な正規化スキームに依存している。 本研究では,皮質回路にインスパイアされた側方抑制を取り入れた正規化自由学習フレームワークを提案する。 本稿では,生物リアリズムを持つ深層SNNの安定的学習を可能にするとともに,明示的な正規化に頼らずに競争性能を達成できることを述べる。
  論文  参考訳（メタデータ） (2025-09-27T11:11:30Z)
• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Rethinking Spiking Neural Networks from an Ensemble Learning Perspective [4.823440259626247]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率が優れているが、限られた性能に悩まされている。 本稿では,SNNをアーキテクチャと重みを共有するテンポラルワークのアンサンブルとみなす。 我々は初期膜電位分布の整合性を促進し、膜電位の平滑化と時間的に隣接するサブネットワークガイダンスを通して出力する。
  論文  参考訳（メタデータ） (2025-02-20T03:15:52Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments [14.727296040550392]
  スパイキングニューラルネットワーク(SNN)は、生物学的妥当性のため、効率的な教師なしおよび継続的な学習能力の可能性を秘めている。 動的環境下での継続学習と教師なし学習機能を備えたエネルギー効率の高いSNNのためのフレームワークであるSpikeDynを提案する。
  論文  参考訳（メタデータ） (2021-02-28T08:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。