論文の概要: Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2601.08447v1
- Date: Tue, 13 Jan 2026 11:17:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-14 18:27:19.167558
- Title: Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks
- Title(参考訳): リカレントスパイクニューラルネットワークにおけるスポークタイミング依存塑性の安定化のためのスリープベースホメオスタティック規則化
- Authors: Andreas Massey, Aliaksandr Hubin, Stefano Nichele, Solve Sæbø,
- Abstract要約: スパイク刺激依存性可塑性(STDP)は、スパイクニューラルネットワーク(SNN)のための生物学的に証明可能な学習メカニズムを提供する
本稿では, シナプス性ホメオスタシス仮説に着想を得たニューロモルフィック正規化手法を提案する。
- 参考スコア(独自算出の注目度): 14.487258585834374
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Spike-timing-dependent plasticity (STDP) provides a biologically-plausible learning mechanism for spiking neural networks (SNNs); however, Hebbian weight updates in architectures with recurrent connections suffer from pathological weight dynamics: unbounded growth, catastrophic forgetting, and loss of representational diversity. We propose a neuromorphic regularization scheme inspired by the synaptic homeostasis hypothesis: periodic offline phases during which external inputs are suppressed, synaptic weights undergo stochastic decay toward a homeostatic baseline, and spontaneous activity enables memory consolidation. We demonstrate that this sleep-wake cycle prevents weight saturation while preserving learned structure. Empirically, we find that low to intermediate sleep durations (10-20\% of training) improve stability on MNIST-like benchmarks in our STDP-SNN model, without any data-specific hyperparameter tuning. In contrast, the same sleep intervention yields no measurable benefit for the surrogate-gradient spiking neural network (SG-SNN). Taken together, these results suggest that periodic, sleep-based renormalization may represent a fundamental mechanism for stabilizing local Hebbian learning in neuromorphic systems, while also indicating that special care is required when integrating such protocols with existing gradient-based optimization methods.
- Abstract(参考訳): スパイク刺激依存性可塑性(STDP)は、ニューラルネットワーク(SNN)をスパイクするための生物学的に証明可能な学習メカニズムを提供するが、繰り返し接続を持つアーキテクチャにおけるヘビアンウェイト更新は、非有界成長(unbounded growth)、破滅的な忘れ、表現多様性の喪失など、病理的な重みのダイナミクスに悩まされる。
本稿では, シナプス性ホメオスタシス仮説に着想を得たニューロモルフィック正規化手法を提案する。
我々は,この睡眠覚醒サイクルが学習構造を保ちながら体重飽和を防ぐことを実証した。
実験により,STDP-SNNモデルのMNISTライクなベンチマークでは,データ固有のハイパーパラメータチューニングを伴わずに,低から中程度の睡眠時間(10~20%)で安定性が向上することが判明した。
対照的に、同じ睡眠介入は、SG-SNN(Surrogate-gradient Spiking Neural Network)にとって測定可能な利益をもたらす。
これらの結果は、周期的、睡眠に基づく再正規化は、ニューロモルフィックシステムにおける局所的なヘビアン学習を安定化するための基本的なメカニズムであり、また、そのようなプロトコルと既存の勾配に基づく最適化手法を統合する際には、特別な注意が必要であることを示唆している。
関連論文リスト
- Unleashing Temporal Capacity of Spiking Neural Networks through Spatiotemporal Separation [67.69345363409835]
スパイキングニューラルネットワーク(SNN)は、時間的処理に自然に適していると考えられており、膜電位の伝播は、コア時間的モデリングメカニズムとして広く見なされている。
我々は, 膜伝播を段階的に段階的に除去する非ステートフル(NS)モデルの設計を行った。
論文 参考訳(メタデータ) (2025-12-05T07:05:53Z) - Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。
本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。
NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
論文 参考訳(メタデータ) (2025-10-19T14:23:35Z) - Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition [52.59263087086756]
深層ニューラルネットワーク(SNN)のトレーニングは、バッチ正規化のような明示的な正規化スキームに依存している。
本研究では,皮質回路にインスパイアされた側方抑制を取り入れた正規化自由学習フレームワークを提案する。
本稿では,生物リアリズムを持つ深層SNNの安定的学習を可能にするとともに,明示的な正規化に頼らずに競争性能を達成できることを述べる。
論文 参考訳(メタデータ) (2025-09-27T11:11:30Z) - Diverse Neural Sequences in QIF Networks: An Analytically Tractable Framework for Synfire Chains and Hippocampal Replay [0.0]
本研究では,時間的に非対称なヘッビアン則を介し,シーケンスを組み込んだ準連続積分・消火ニューロンの擬似ネットワークを提案する。
以上の結果より, 持続的シンファイア様連鎖や一過性海馬リプレイ様バーストなどの連続的活動のスペクトルを強く再現し, リップル内周波数調節(IFA)を呈することが示唆された。
これらの結果は, TAH接続性を有するQIFネットワークを, 脳内の連続神経活動の出現, 安定性, 多様性を調査するための, 解析的かつ生物学的に妥当なプラットフォームとして確立する。
論文 参考訳(メタデータ) (2025-08-08T07:27:47Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳(メタデータ) (2025-07-15T17:57:48Z) - Extending Spike-Timing Dependent Plasticity to Learning Synaptic Delays [50.45313162890861]
シナプス接続強度と遅延を同時に学習するための新しい学習規則を導入する。
我々は、教師なし学習で訓練された分類のための広く使われているSNNモデルを拡張して、我々のアプローチを検証する。
その結果,提案手法は様々なテストシナリオにおいて常に優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-06-17T21:24:58Z) - Learning with Spike Synchrony in Spiking Neural Networks [3.8506283985103447]
スパイキングニューラルネットワーク(SNN)は、生物学的神経力学を模倣してエネルギー効率の高い計算を約束する。
本稿では,スパイクタイミングではなく神経発射の度合いに基づいてシナプス重みを調整する訓練手法として,スパイク同期依存塑性(SSDP)を導入する。
論文 参考訳(メタデータ) (2025-04-14T04:01:40Z) - Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。
ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
論文 参考訳(メタデータ) (2024-09-27T17:46:05Z) - Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。
我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。
本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文 参考訳(メタデータ) (2023-06-06T09:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。