論文の概要: FidLIF: Parallel Training of High-Fidelity Spiking Neurons with Exact BPTT

• arxiv url: http://arxiv.org/abs/2610.16924v1
• Date: Mon, 12 Oct 2026 15:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 04:06:28.35572
• Title: FidLIF: Parallel Training of High-Fidelity Spiking Neurons with Exact BPTT
• Title（参考訳）: FidLIF: Exact BPTTを用いた高忠実スパイクニューロンの並列トレーニング
• Abstract要約: FidLIFは、標準スパイキングLIFニューロンのインクリメンタルアップデートとハードリセットの振る舞いを、平行な前方伝播とBPTTに等価な後方伝播で調整する。 我々のTriton実装は、4つのシーケンシャルな分類ベンチマークで競合性能を達成しつつ、長いシーケンスのレイテンシとメモリスケーリングを良好に提供する。
• 参考スコア（独自算出の注目度）: 1.5485971776016434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although spiking neural networks (SNNs) show promise in energy-efficient computing through event-driven computation and stateful temporal processing, their recurrent membrane dynamics render their training inherently sequential and inefficient for long sequences. Existing methods achieve full-sequence parallelism in SNNs through two main strategies: redesigning or approximating spiking dynamics to avoid reset-coupled temporal dependencies, or relying on iterative relaxed fixed-point solvers that suffer from excessive memory costs and iteration-dependent backward overhead. To address these limitations, we present FidLIF, a novel framework that reconciles the incremental update and hard-reset behavior of standard spiking LIF neurons with parallel forward propagation and BPTT-equivalent backward propagation. FidLIF iteratively recovers the full-sequence membrane-potential trajectory in parallel. By exploiting the lower bidiagonal structure induced by the local recurrence of LIF neurons, FidLIF formulates each forward trajectory correction and backward adjoint propagation as associative scans with an $O(\log T)$ temporal depth. This formulation also supports input-dependent neuronal parameters and allows the same neuron to perform full-sequence parallel training and incremental step-by-step inference at deployment. In our numerical convergence evaluation, FidLIF achieves a mean absolute error below $10^{-7}$ relative to the matched serial relaxed LIF dynamics, while yielding gradients numerically equivalent to exact BPTT. Our Triton implementation delivers favorable long-sequence latency and memory scaling, while achieving competitive performance on four sequential classification benchmarks. By reconciling parallel training with step-by-step execution, FidLIF enables high-fidelity spiking dynamics to benefit from parallel hardware without compromising incremental inference at deployment.
• Abstract（参考訳）: スパイクニューラルネットワーク(SNN)は、イベント駆動の計算とステートフルな時間的処理を通じてエネルギー効率の高い計算を約束するが、そのリカレントな膜力学は、そのトレーニングを本質的にシーケンシャルで非効率にしている。 既存の方法は、リセットされた時間的依存関係を避けるためにスパイキングダイナミクスを再設計または近似する、あるいは過剰なメモリコストとイテレーション依存の後方オーバーヘッドに悩まされる反復緩和固定ポイントソルバに依存する、という2つの主要な戦略を通じて、SNNの完全なシーケンス並列性を実現する。 これらの制約に対処するため,標準的な LIF ニューロンの増分的更新とハードリセット動作を並列な前方伝播とBPTT 等価な後方伝播で再現する新しいフレームワークである FidLIF を提案する。 FidLIFは、全配列の膜電位軌跡を並列に回収する。 LIFニューロンの局所再発によって引き起こされる低次対角構造を利用して、FidLIFは各前方軌道補正と後方随伴伝播を$O(\log T)$時間深度で関連性スキャンとして定式化する。 この定式化は入力依存神経パラメータもサポートし、同じニューロンがデプロイ時にフルシーケンスの並列トレーニングと段階的なステップバイステップ推論を実行できるようにする。 数値収束評価において,FidLIFは一致した直列緩和LIFダイナミクスに対して平均10-7$以下の絶対誤差を達成し,正確なBPTTと数値的に等価な勾配を与える。 我々のTriton実装は、4つのシーケンシャルな分類ベンチマークで競合性能を達成しつつ、長いシーケンスのレイテンシとメモリスケーリングを良好に提供する。 ステップバイステップの実行で並列トレーニングを調整することにより、FidLIFは、デプロイ時のインクリメンタル推論を損なうことなく、高忠実なスパイクダイナミックスが並列ハードウェアの恩恵を受けることができる。

関連論文リスト

• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling [57.91760520589592]
  ネットワークの深度を拡大することは、現代の基礎モデルの成功の背後にある中心的な要因である。 本稿では,ニューラルネットワークの奥行き,すなわち残差接続の既定メカニズムを再考する。 我々は、データから残余接続性をパラメータ化し、学習する原則的かつ軽量なフレームワークである、適応型ニューラルネットワーク再割り当て(ANCRe)を導入する。
  論文  参考訳（メタデータ） (2026-02-09T18:54:18Z)
• A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks [13.220581846415957]
  本稿では、並列化の効率と近似オンライン前方学習を組み合わせたHYPR(HYbrid PRopagation)を提案する。 HYPRは、ほぼ任意の非線形スパイキングニューロンモデルからなるRSNNのサブシーケンスに対するパラメータ更新の並列化を可能にする。 このタイプのニューロンモデルは、HYPRにより特に訓練可能であり、前向き勾配学習とBPTTの間には、前例のない低いタスク性能のギャップが生じることが判明した。
  論文  参考訳（メタデータ） (2025-06-17T12:27:25Z)
• Efficient Parallel Training Methods for Spiking Neural Networks with Constant Time Complexity [63.56009745101597]
  スパイキングニューラルネットワーク (SNN) はしばしば、$T$スパイクのシーケンシャル処理のために、高い時間複雑性の$O(T)$に悩まされる。 本稿では,ネットワークアーキテクチャを変更することなく,SNNトレーニングを高速化するFPT法を提案する。
  論文  参考訳（メタデータ） (2025-06-10T13:27:27Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
  パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。 具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。 我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
  論文  参考訳（メタデータ） (2025-05-02T08:23:29Z)
• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• PRF: Parallel Resonate and Fire Neuron for Long Sequence Learning in Spiking Neural Networks [6.545474731089018]
  スパイキングニューラルネットワーク(SNN)における長周期学習の効率性と性能の課題を同時に解決する。 まず,典型的なLeaky Integrate-and-Fire(LIF)モデルのトレーニング時間を$O(L2)$から$O(Llog L)$に短縮する。 第二に、長距離依存性を捉えるために、複素領域における微分可能リセット関数から共振機構によって駆動される振動膜電位を利用するパラレル共鳴・火災ニューロン(PRF)を提案する。
  論文  参考訳（メタデータ） (2024-10-04T15:51:56Z)
• Accurate online training of dynamical spiking neural networks through Forward Propagation Through Time [1.8515971640245998]
  最近開発されたBPTTの代替手段が、スパイクニューラルネットワークにどのように適用できるかを示す。 FPTTは、損失に対する動的に規則化されたリスクを最小化しようとする。 FPTTで訓練したSNNは、オンラインBPTT近似よりも優れており、時間的分類タスクにおいてオフラインBPTT精度に近づいたり、超えたりしている。
  論文  参考訳（メタデータ） (2021-12-20T13:44:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。