論文の概要: Stabilizing Direct Training of Spiking Neural Networks: Membrane Potential Initialization and Threshold-robust Surrogate Gradient

• arxiv url: http://arxiv.org/abs/2511.08708v1
• Date: Thu, 13 Nov 2025 01:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.201591
• Title: Stabilizing Direct Training of Spiking Neural Networks: Membrane Potential Initialization and Threshold-robust Surrogate Gradient
• Title（参考訳）: スパイキングニューラルネットワークの安定化ダイレクトトレーニング:膜電位初期化と閾値-ローバスト・サロゲート勾配
• Authors: Hyunho Kook, Byeongho Yu, Jeong Min Oh, Eunhyeok Park,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、初期の段階でも高品質な出力を実証している。 本稿では,MP-Init(Membrane Potential Initialization)とTrSG(Threshold-robust Surrogate Gradient)の2つの重要なイノベーションを紹介する。
• 参考スコア（独自算出の注目度）: 11.229584148105113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in the direct training of Spiking Neural Networks (SNNs) have demonstrated high-quality outputs even at early timesteps, paving the way for novel energy-efficient AI paradigms. However, the inherent non-linearity and temporal dependencies in SNNs introduce persistent challenges, such as temporal covariate shift (TCS) and unstable gradient flow with learnable neuron thresholds. In this paper, we present two key innovations: MP-Init (Membrane Potential Initialization) and TrSG (Threshold-robust Surrogate Gradient). MP-Init addresses TCS by aligning the initial membrane potential with its stationary distribution, while TrSG stabilizes gradient flow with respect to threshold voltage during training. Extensive experiments validate our approach, achieving state-of-the-art accuracy on both static and dynamic image datasets. The code is available at: https://github.com/kookhh0827/SNN-MP-Init-TRSG
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)の直接トレーニングの最近の進歩は、初期の段階においても高品質な出力を示し、新しいエネルギー効率のAIパラダイムへの道を開いた。 しかし、SNNに固有の非線形性や時間的依存は、時間的共変量シフト(TCS)や学習可能なニューロン閾値を持つ不安定な勾配流のような永続的な課題をもたらす。 本稿では,MP-Init(Membrane Potential Initialization)とTrSG(Threshold-robust Surrogate Gradient)の2つの重要なイノベーションを提案する。 MP-Initは初期膜電位を定常分布に整列させ、TrSGはトレーニング中の閾値電圧に対して勾配流を安定化させる。 大規模な実験により、静的画像データセットと動的画像データセットの両方で最先端の精度を達成し、我々のアプローチを検証する。 https://github.com/kookhh0827/SNN-MP-Init-TRSG

関連論文リスト

• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• Proxy Target: Bridging the Gap Between Discrete Spiking Neural Networks and Continuous Control [59.65431931190187]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で低レイテンシかつエネルギー効率の意思決定を提供する。 連続制御のためのほとんどの連続制御アルゴリズムは、人工ニューラルネットワーク(ANN)のために設計されている。 このミスマッチはSNNのトレーニングを不安定にし、性能を劣化させる。 離散SNNと連続制御アルゴリズムのギャップを埋める新しいプロキシターゲットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:08:03Z)
• Adaptive Gradient Learning for Spiking Neural Networks by Exploiting Membrane Potential Dynamics [23.205286200919673]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、効率的で低エネルギーのニューロモルフィックコンピューティングを実現するための有望な道として認識されている。 スパイクがニューロン間で伝播するにつれて、膜電位ダイナミクス(MPD)の分布は固定されたSGの勾配可能な間隔から逸脱する。 本稿では,MPD,すなわちMPD-AGLを利用してSNNの適応勾配学習を提案する。
  論文  参考訳（メタデータ） (2025-05-17T06:06:13Z)
• Directly Training Temporal Spiking Neural Network with Sparse Surrogate Gradient [8.516243389583702]
  脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベントベースのコンピューティングとエネルギー効率の良い機能によって、多くの注目を集めている。 本研究では,SNNの一般化能力を向上させるため,MSG(Masked Surrogate Gradients)を提案する。
  論文  参考訳（メタデータ） (2024-06-28T04:21:32Z)
• Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
  この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。 パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。 実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
  論文  参考訳（メタデータ） (2023-04-26T05:02:41Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• On the Impact of Stable Ranks in Deep Nets [3.307203784120635]
  安定なランクは、指数関数的に深度的に蓄積する線形因子として本質的に階層的に現れることを示す。 以上の結果から,安定度は指数関数的に深度的に蓄積する線形因子として本質的に階層的に現れることが示唆された。
  論文  参考訳（メタデータ） (2021-10-05T20:04:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。