論文の概要: Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies

• arxiv url: http://arxiv.org/abs/2605.30361v1
• Date: Thu, 14 May 2026 05:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-07 20:42:22.488715
• Title: Gradient-Free Training of Spiking Neural Networks via Low-Rank Evolution Strategies
• Title（参考訳）: 低ランク進化戦略によるスパイキングニューラルネットワークのグラディエントフリートレーニング
• Authors: Dhruv Patankar, Sachit Ramesha Gowda,
• Abstract要約: ES摂動の低ランク因数分解であるEGGROLLは、世代ごとのメモリを$mathcalO(mn)$から$mathcalO(r(m+n)$に還元する。 本研究では,1世代あたりのウォールタイムをフルランクESと比較して2.23$times$で削減しながら,勾配のないトレーニングが79.21%の精度で達成できることを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking Neural Networks (SNNs) offer compelling energy efficiency on neuromorphic hardware, yet their training remains challenging because the discrete spike threshold is non-differentiable. Surrogate-gradient methods sidestep this by approximating the derivative, but they impose backpropagation infrastructure that is incompatible with on-chip learning. Evolution Strategies (\es) are a natural gradient-free alternative, yet their computational cost scales with the number of parameters, making them impractical for large weight matrices. We present a method for training SNNs using EGGROLL, a low-rank factorisation of ES perturbations that reduces per-generation memory from $\mathcal{O}(mn)$ to $\mathcal{O}(r(m{+}n))$. Combining EGGROLL with a Leaky Integrate-and-Fire SNN on N-MNIST, we demonstrate that gradient-free training achieves 79.21% test accuracy while reducing per-generation wall-clock time by 2.23$\times$ relative to full-rank ES. Our results demonstrate EGGROLL is viable for SNN training, with a clear accuracy-speed tradeoff, compatible with training on neuromorphic hardware without surrogate gradients.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上で魅力的なエネルギー効率を提供するが、離散スパイク閾値が微分不可能であるため、トレーニングは依然として難しい。 代理段階の手法は、微分を近似することでこれを横取りするが、オンチップ学習とは相容れないバックプロパゲーション基盤を課す。 進化戦略 (Evolution Strategies) は自然な勾配のない代替案であるが、その計算コストはパラメータの数とともにスケールし、大きな重み行列では実用的ではない。 本稿では,ES摂動の低ランク因数分解であるEGGROLLを用いて,世代ごとのメモリ容量を$\mathcal{O}(mn)$から$\mathcal{O}(r(m{+}n))$に削減するSNNのトレーニング手法を提案する。 N-MNIST 上では EGGROLL と Leaky Integrate-and-Fire SNN を組み合わせることで、勾配なしのトレーニングが 79.21% のテスト精度を達成し、また1世代あたりのウォールクロック時間をフルランク ES に対して 2.23$\times$ に削減することを示した。 以上の結果から,EGGROLLはSNNトレーニングに有効であり,SNNトレーニングの精度と速度のトレードオフが明確であり,サロゲート勾配のないニューロモルフィックハードウェアのトレーニングと互換性があることが示唆された。

関連論文リスト

• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• ADMM-Based Training for Spiking Neural Networks [1.1249583407496218]
  スパイクニューラルネットワーク(SNN)は、時系列処理とエネルギー消費の最小化によって、その可能性の高さから勢いを増している。 彼らはまだ、専用で効率的なトレーニングアルゴリズムを欠いている。 乗算器の交互方向法(ADMM)に基づく新しいSNN訓練法を提案する。
  論文  参考訳（メタデータ） (2025-05-08T10:20:33Z)
• TT-SNN: Tensor Train Decomposition for Efficient Spiking Neural Network Training [27.565726483503838]
  スパイキングニューラルネットワーク(TT-SNN)の列車分解について紹介する。 TT-SNNはトレーニング可能な重量分解によってモデルサイズを削減し、ストレージ、FLOP、レイテンシーを削減した。 また,典型的な逐次テンソル計算の代替として並列計算を提案する。
  論文  参考訳（メタデータ） (2024-01-15T23:08:19Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Temporal Efficient Training of Spiking Neural Network via Gradient Re-weighting [29.685909045226847]
  脳にインスパイアされたスパイクニューロンネットワーク(SNN)は、事象駆動的でエネルギー効率のよい特徴から、広く研究の関心を集めている。 シュロゲート勾配による現在の直接訓練手法は、一般化性に乏しいSNNに結果をもたらす。 SGによる勾配降下時の運動量の減少を補うための時間的効率訓練(TET)手法を導入する。
  論文  参考訳（メタデータ） (2022-02-24T08:02:37Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。