論文の概要: Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition

• arxiv url: http://arxiv.org/abs/2509.23253v1
• Date: Sat, 27 Sep 2025 11:11:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-09-30 16:27:01.557421
• Title: Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition
• Title（参考訳）: 横方向抑制を用いた深部正規化フリースパイクニューラルネットワークの訓練
• Authors: Peiyu Liu, Jianhao Ding, Zhaofei Yu,
• Abstract要約: 深層ニューラルネットワーク(SNN)のトレーニングは、バッチ正規化のような明示的な正規化スキームに依存している。 本研究では,皮質回路にインスパイアされた側方抑制を取り入れた正規化自由学習フレームワークを提案する。 本稿では,生物リアリズムを持つ深層SNNの安定的学習を可能にするとともに,明示的な正規化に頼らずに競争性能を達成できることを述べる。
• 参考スコア（独自算出の注目度）: 52.59263087086756
• License:
• Abstract: Spiking neural networks (SNNs) have garnered significant attention as a central paradigm in neuromorphic computing, owing to their energy efficiency and biological plausibility. However, training deep SNNs has critically depended on explicit normalization schemes, such as batch normalization, leading to a trade-off between performance and biological realism. To resolve this conflict, we propose a normalization-free learning framework that incorporates lateral inhibition inspired by cortical circuits. Our framework replaces the traditional feedforward SNN layer with a circuit of distinct excitatory (E) and inhibitory (I) neurons that complies with Dale's law. The circuit dynamically regulates neuronal activity through subtractive and divisive inhibition, which respectively control the activity and the gain of excitatory neurons. To enable and stabilize end-to-end training of the biologically constrained SNN, we propose two key techniques: E-I Init and E-I Prop. E-I Init is a dynamic parameter initialization scheme that balances excitatory and inhibitory inputs while performing gain control. E-I Prop decouples the backpropagation of the E-I circuits from the forward propagation and regulates gradient flow. Experiments across several datasets and network architectures demonstrate that our framework enables stable training of deep SNNs with biological realism and achieves competitive performance without resorting to explicit normalizations. Therefore, our work not only provides a solution to training deep SNNs but also serves a computational platform for further exploring the functions of lateral inhibition in large-scale cortical computation.
• Abstract（参考訳）: スパイキングニューラルネットワーク(SNN)は、そのエネルギー効率と生物学的妥当性から、ニューロモルフィックコンピューティングの中心パラダイムとして注目されている。 しかし、深層SNNの訓練は、バッチ正規化のような明示的な正規化スキームに依存しており、性能と生物学的リアリズムのトレードオフをもたらす。 この対立を解決するために,皮質回路にインスパイアされた側方抑制を組み込んだ正規化自由学習フレームワークを提案する。 我々のフレームワークは、伝統的なフィードフォワードSNN層を、デイルの法則に適合する異なる興奮性(E)および抑制性(I)ニューロンの回路に置き換える。 回路は、興奮ニューロンの活性と利得をそれぞれ制御する減量的および分断的阻害を介して、ニューロンの活性を動的に調節する。 生物学的拘束されたSNNのエンドツーエンドトレーニングの実現と安定化を目的として,E-I Init と E-I Prop の2つの重要な手法を提案する。 E-I Initは、利得制御を行いながら興奮と阻止の入力のバランスをとる動的パラメータ初期化スキームである。 E-I Propは、E-I回路の後方伝播を前方伝播から切り離し、勾配流を調節する。 複数のデータセットとネットワークアーキテクチャをまたいだ実験により、我々のフレームワークは生物学的リアリズムを持つディープSNNの安定したトレーニングを可能にし、明示的な正規化に頼ることなく競争性能を達成できることを示した。 したがって,本研究は深部SNNの学習ソリューションを提供するだけでなく,大規模大脳皮質計算における横方向の抑制機能をさらに探求するための計算プラットフォームも提供する。

関連論文リスト

• A Neural Network for the Identical Kuramoto Equation: Architectural Considerations and Performance Evaluation [0.0]
  同一振動子倉本モデルから導かれる非局所保存法の解法を近似するためのディープニューラルネットワーク(DNN)の効率について検討する。 ネットワーク構成パラメータが収束特性に影響を与えることを示す。 我々は,一意的あるいは一意的な解を扱う際に,標準フィードフォワードアーキテクチャの基本的限界を特定する。
  論文  参考訳（メタデータ） (2025-09-17T19:37:01Z)
• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Exploiting Heterogeneity in Timescales for Sparse Recurrent Spiking Neural Networks for Energy-Efficient Edge Computing [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングの最前線である。 本稿では,SNNのパフォーマンスに革命をもたらす3つの画期的な研究をまとめる。
  論文  参考訳（メタデータ） (2024-07-08T23:33:12Z)
• Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks [0.06752396542927405]
  学習可能なシナプス遅延を2つのアプローチで組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 後者のアプローチでは、ネットワークは接続を選択してプーンし、スパース接続設定の遅延を最適化する。 本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2024-07-07T11:55:48Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• BackEISNN: A Deep Spiking Neural Network with Adaptive Self-Feedback and Balanced Excitatory-Inhibitory Neurons [8.956708722109415]
  スパイクニューラルネットワーク(SNN)は離散スパイクを通して情報を伝達し、空間時間情報を処理するのによく機能する。 適応型自己フィードバックと平衡興奮性および抑制性ニューロン(BackEISNN)を用いた深部スパイクニューラルネットワークを提案する。 MNIST、FashionMNIST、N-MNISTのデータセットに対して、我々のモデルは最先端の性能を達成した。
  論文  参考訳（メタデータ） (2021-05-27T08:38:31Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。