論文の概要: Exploring napping paradigm for Recurrent Spiking Neural Networks
- arxiv url: http://arxiv.org/abs/2609.13927v1
- Date: Sat, 12 Sep 2026 13:18:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.613009
- Title: Exploring napping paradigm for Recurrent Spiking Neural Networks
- Title（参考訳）: リカレントスパイキングニューラルネットワークのためのナッピングパラダイムの探索
- Abstract要約: 本稿では,生物にインスパイアされたマイクロスリープパラダイムが,モデル複雑性を隠蔽しながら正規化の安定性を再現できるという仮説を考察する。
我々は、その持続時間と膜ノイズレベルを網羅して3つの正規化レギュラーを調整し、最適な構成と重量正規化を比較した。
- 参考スコア（独自算出の注目度）: 15.542596760008687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biological organisms minimize free energy by balancing two competing demands on their internal world model: it must be accurate enough to predict sensory input, yet simple enough to generalize beyond it. Two mechanisms regulate this balance offline: sleep reduces complexity through gradual synaptic downscaling, while stochastic noise attenuates precision, relaxing the constraint sensory input imposes on synaptic reorganization. Engineered Spiking Neural Networks (SNNs) leave this balance unaddressed, favoring instantaneous, noiseless weight normalization instead. This paper investigates the hypothesis that a biologically inspired micro-sleep paradigm, napping -- combining proportional weight scaling with continuous stochastic membrane activity -- can replicate the stability of normalization while shedding model complexity. We evaluate this in an unsupervised recurrent SNN trained via trace-based spike-timing-dependent plasticity (STDP) on Gabor-preprocessed MNIST. We tune napping across three regularization regimes by sweeping its duration and membrane noise level, then compare the best configuration against weight normalization. Across all three regimes, well-tuned napping matches the accuracy of normalization: accuracy peaks at brief durations and low noise, then declines monotonically as either grows. Clustering diverges, with the strongest geometric separation arising at longer durations and higher noise -- the two terms of free energy pulling apart, accuracy rewarding data fit and structure rewarding the simpler representation that gradual, noisy downscaling induces. This gain carries a simulation cost normalization avoids, so napping is most compelling where representational structure, rather than raw classification efficiency, is the priority.
- Abstract（参考訳）: 生物学的生物は、内部世界モデルにおける2つの競合する要求のバランスをとることで、自由エネルギーを最小化する。
睡眠は徐々にシナプスのダウンスケーリングによって複雑さを減らし、確率的ノイズは精度を弱め、制約された感覚入力がシナプスの再構成に課される。
エンジニアによるスパイクニューラルネットワーク(SNN)は、このバランスをそのままにして、瞬時にノイズなしの重み正規化を好んでいる。
本稿では, 生体にインスパイアされたマイクロスリープのパラダイムであるナッピングが, 比例重スケーリングと連続確率膜活動を組み合わせることで, モデル複雑性を隠蔽しながら正規化の安定性を再現できるという仮説を考察する。
Gabor-preprocessed MNIST 上のトレースベーススパイクタイピング依存可塑性 (STDP) を用いて訓練した無教師リカレント SNN でこれを評価した。
我々は、その持続時間と膜ノイズレベルを網羅して3つの正規化レギュラーを調整し、最適な構成と重量正規化を比較した。
3つの体制全体では、よく調整されたナッピングは正規化の正確さと一致している: 正確さは短い期間でピークに達し、低ノイズは、どちらかの成長とともに単調に低下する。
クラスタリングは、より長い時間で生じる最も強力な幾何学的分離と高いノイズを伴う。自由エネルギーの引き離し、精度の高いデータ適合と、徐々にノイズの多いダウンスケーリングが引き起こすより単純な表現に報酬を与える構造という2つの用語である。
この利得はシミュレーションコストの正規化を回避するため、生の分類効率よりも表現構造が優先される場所では、ナッピングが最も魅力的である。
関連論文リスト
- When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay [6.625270757109195]
標準成長は、反対の幾何学的自己整合効果を誘導する一方、1つの量で全てのスケジュールと崩壊の強制を捉えていることを示す。
これは、収縮と拡張が支配する効果的な学習率体制をきれいに分離する鋭い境界をもたらす。
論文 参考訳（メタデータ） (2026-09-08T17:46:17Z) - Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries [11.824913874212802]
遅延一般化(英: Delayed generalization, 英: grokking)は、広範な実証研究にもかかわらず、いまだに理解されていない。
フルバッチ重ボール最適化と重み減衰を訓練した線形モデルにおいて、グルーキングの正確な解答可能な遅延緩和機構を同定する。
論文 参考訳（メタデータ） (2026-07-27T03:30:44Z) - Learning the Brain's Dynamics as a Port-Hamiltonian System: A GNN-Surrogate Metriplectic Twin for Non-Equilibrium Cortical Dynamics and Closed-Loop Neuromodulation [0.09229852843814058]
我々は、ポート・ハミルトン系として、安静時および運動画像BCI条件で記録されたヒト運動野をモデル化した。
メトトレクティックな定式化は、安静大脳皮質を明示的な代謝ポートによって維持される非平衡定常状態に配置する。
生成しないモデル非依存の動的不変量に対してフリーランニングモデルをスコアリングする。
論文 参考訳（メタデータ） (2026-07-11T18:44:54Z) - From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。
最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。
次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
論文 参考訳（メタデータ） (2026-07-10T20:59:06Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。
我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
論文 参考訳（メタデータ） (2026-06-27T01:32:16Z) - Soliton-like Waves in a Two-Dimensional Recurrent Spiking Neural Network with Weighted Spike-Timing-Dependent Plasticity [0.0]
我々は、離散時間で作動する最小限の生物学的に妥当なスパイキングニューロンモデルを構築した。
ネットワークは、散逸性ソリトンの性質を持つ安定した自己伝播波パケットを自然に生み出す。
論文 参考訳（メタデータ） (2026-06-19T13:47:27Z) - On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。
我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
論文 参考訳（メタデータ） (2026-02-18T20:25:13Z) - Sleep-Based Homeostatic Regularization for Stabilizing Spike-Timing-Dependent Plasticity in Recurrent Spiking Neural Networks [14.487258585834374]
スパイク刺激依存性可塑性(STDP)は、スパイクニューラルネットワーク(SNN)のための生物学的に証明可能な学習メカニズムを提供する
本稿では, シナプス性ホメオスタシス仮説に着想を得たニューロモルフィック正規化手法を提案する。
論文 参考訳（メタデータ） (2026-01-13T11:17:30Z) - DeepBlip: Estimating Conditional Average Treatment Effects Over Time [48.20988325299593]
構造ネスト平均モデル(SNMM)のための最初のニューラルネットワークフレームワークであるDeepBlipを提案する。
提案手法は, 時間変化による不偏推定を正確に調整し, ナイマン・直交損失関数はニュアンスモデルの不特定性に対して頑健性を保証する。
論文 参考訳（メタデータ） (2025-11-18T14:49:03Z) - Continual learning benefits from multiple sleep mechanisms: NREM, REM,
and Synaptic Downscaling [51.316408685035526]
先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。
本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
論文 参考訳（メタデータ） (2022-09-09T13:45:27Z) - Improve Generalization and Robustness of Neural Networks via Weight
Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。
そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文 参考訳（メタデータ） (2020-08-07T02:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。