論文の概要: The Dormant Spiking Neuron: A State-Driven Mechanism for Efficient Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2610.21748v1
- Date: Thu, 15 Oct 2026 12:05:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.059908
- Title: The Dormant Spiking Neuron: A State-Driven Mechanism for Efficient Spiking Neural Networks
- Title(参考訳): 休眠型スパイクニューロン: 効率的なスパイクニューラルネットワークのための状態駆動型メカニズム
- Abstract要約: ImageNetでトレーニングされたResNet-18モデルのニューロンの44%は、非常に抑制された状態にあり、永続的な計算負担を伴っている。
この非効率性に対処するため、Donrmant Spiking Neuron (DSN)モデルが導入された。
状態駆動のダイナミックゲートを組み込むことで、DSNは神経細胞がその膜電位が予め定義された負の閾値を下回ったときに休眠状態に入ることができる。
静的およびニューロモルフィックデータセットに対する実験により、DSNフレームワークは一貫して計算エネルギーを40%以上70%以上削減することを示した。
- 参考スコア(独自算出の注目度): 4.372204167588686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spiking neural networks (SNNs) offer a compelling pathway toward energy-efficient artificial intelligence, fundamentally anchored in presynaptic input-driven sparsity. However, a substantial yet chronically overlooked source of computational overhead persists: the continuous subthreshold dynamics of postsynaptic neurons. Quantitative analysis reveals that up to 44% of neurons in an ImageNet-trained ResNet-18 model reside in a deeply inhibited state, imposing a persistent computational burden despite having a negligible probability of firing. To address this inefficiency, the Dormant Spiking Neuron (DSN) model is introduced. By incorporating a state-driven dynamic gate, the DSN allows a neuron to enter a dormant state when its membrane potential falls below a predefined negative threshold, dynamically pruning redundant computations at the instance level. Crucially, this dormancy mechanism is directly integrated into the neuronal dynamics and trained end-to-end via backpropagation through time using surrogate gradients, enabling the network to actively learn a robust dormancy policy that adaptively preserves critical information flow. Extensive experiments across static and neuromorphic datasets demonstrate that the DSN framework consistently reduces computational energy by 40% to over 70%. Notably, on the large-scale ImageNet dataset, the DSN outperforms state-of-the-art static pruning techniques at comparable reported cost reductions and simultaneously improves the corresponding baseline SNN accuracy by 1.34%. By establishing a trainable, state-driven sparsity paradigm orthogonal to conventional input-driven methods, the DSN unlocks synergistic efficiency gains, presenting an effective approach for advancing neuromorphic computing.
- Abstract(参考訳): スパイキングニューラルネットワーク(SNN)は、エネルギー効率の良い人工知能への魅力的な経路を提供する。
しかし、計算オーバーヘッドの実質的かつ慢性的に見過ごされた源は、後シナプスニューロンの連続的サブスレッショルドダイナミクスである。
ImageNet-trained ResNet-18モデルでは、最大44%のニューロンが深く抑制された状態にあり、発射の可能性が無視できるにもかかわらず、持続的な計算負荷を課している。
この非効率性に対処するため、Donrmant Spiking Neuron (DSN)モデルが導入された。
状態駆動のダイナミックゲートを組み込むことで、DSNはニューロンがその膜電位が予め定義された負のしきい値を下回ったときに休息状態に入り、インスタンスレベルで冗長な計算を動的に実行できるようにする。
重要なことに、この休眠機構は、代理勾配を用いて時間を通して神経力学と訓練されたエンドツーエンドに直接統合され、重要な情報の流れを適応的に保存する堅牢な休眠ポリシーをネットワークが積極的に学習することを可能にする。
静的およびニューロモルフィックデータセットにわたる大規模な実験により、DSNフレームワークは一貫して計算エネルギーを40%以上70%以上削減することを示した。
特に、大規模なImageNetデータセットでは、DSNは同等のコスト削減で最先端の静的プルーニング技術より優れ、同時に対応するベースラインSNNの精度を1.34%向上させる。
従来の入力駆動方式と直交する訓練可能な状態駆動のスパーシティパラダイムを確立することで、DSNは相乗効果の利得を解放し、ニューロモルフィックコンピューティングの進歩に効果的なアプローチを示す。
関連論文リスト
- Neuronal Self-Adaptation Enhances Capacity and Robustness of Representation in Spiking Neural Networks [4.9720552049794575]
Spiking Neural Networks (SNN) はエネルギー効率の高いリアルタイムエッジコンピューティングを約束している。
既存のLIFモデルは、制限された情報容量とノイズに対する感受性に苦しむ。
生物学的カリウムチャネルの動的自己調節に着想を得て, カリウム制御LIF(KvLIF)ニューロンモデルを提案する。
論文 参考訳(メタデータ) (2026-03-21T07:06:57Z) - Robust Spiking Neural Networks Against Adversarial Attacks [49.08210314590693]
スパイキングニューラルネットワーク(SNN)は、エネルギー効率のよいニューロモルフィックコンピューティングにおいて有望なパラダイムである。
本研究では, 閾値近傍のスパイクニューロンが直接訓練されたSNNの堅牢性を制限する重要な要因であることを理論的に実証する。
これらのニューロンは、敵の攻撃の最大電位強度の上限を設定しており、小さな障害の下では状態降下する傾向にある。
論文 参考訳(メタデータ) (2026-02-24T05:06:12Z) - General Self-Prediction Enhancement for Spiking Neurons [71.01912385372577]
スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算によって非常にエネルギー効率が良いが、そのトレーニングは、性能、効率、生物学的妥当性の非微分可能性とトレードオフによって困難である。
本稿では,その入力出力履歴から内部予測電流を生成し,膜電位を変調する自己予測強化スパイキングニューロン法を提案する。
この設計には2つの利点があり、失明した勾配を緩和し、トレーニングの安定性と精度を高める連続的な勾配経路を作成し、また遠位樹状突起変調とエラー駆動のシナプス塑性に類似した生物学的原理と整合する。
論文 参考訳(メタデータ) (2026-01-29T15:08:48Z) - Discretized Quadratic Integrate-and-Fire Neuron Model for Deep Spiking Neural Networks [0.08749675983608168]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークに代わるエネルギー効率の良い代替手段として登場した。
本稿では,高性能深部スパイクニューラルネットに適した準積分ファイア(QIF)ニューロンモデルの最初の離散化を提案する。
論文 参考訳(メタデータ) (2025-10-05T02:30:10Z) - Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition [52.59263087086756]
深層ニューラルネットワーク(SNN)のトレーニングは、バッチ正規化のような明示的な正規化スキームに依存している。
本研究では,皮質回路にインスパイアされた側方抑制を取り入れた正規化自由学習フレームワークを提案する。
本稿では,生物リアリズムを持つ深層SNNの安定的学習を可能にするとともに,明示的な正規化に頼らずに競争性能を達成できることを述べる。
論文 参考訳(メタデータ) (2025-09-27T11:11:30Z) - A Brain-Inspired Gating Mechanism Unlocks Robust Computation in Spiking Neural Networks [5.647576619206974]
神経活動に応じて膜伝導が進化する新しいスパイクユニットであるDynamic Gated Neuron(DGN)を紹介する。
この結果から, 生物学的に妥当な動的ゲーティングが, 強靭なスパイクベースの計算の鍵となる機構であることを初めて強調した。
論文 参考訳(メタデータ) (2025-09-03T13:00:49Z) - Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文 参考訳(メタデータ) (2025-07-22T18:20:56Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳(メタデータ) (2025-07-15T17:57:48Z) - Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳(メタデータ) (2024-12-05T09:41:33Z) - Expressive architectures enhance interpretability of dynamics-based
neural population models [2.294014185517203]
シミュレーションされたニューラルネットワークから潜在カオスを引き付ける際のシーケンシャルオートエンコーダ(SAE)の性能を評価する。
広帯域再帰型ニューラルネットワーク(RNN)を用いたSAEでは,真の潜在状態次元での正確な発射速度を推定できないことがわかった。
論文 参考訳(メタデータ) (2022-12-07T16:44:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。