論文の概要: Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms

• arxiv url: http://arxiv.org/abs/2512.05015v1
• Date: Thu, 04 Dec 2025 17:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.296578
• Title: Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms
• Title（参考訳）: プラグイン・アンド・プレイ型ホメオスタティック・スパーク:SNNトレーニングにおけるゼロコスト加速
• Authors: Rui Chen, Xingyu Chen, Yaoqing Hu, Shihan Kong, Zhiheng Wu, Junzhi Yu,
• Abstract要約: スパイキングニューラルネットワークは、イベント駆動計算、スパースアクティベーション、ハードウェア効率を提供するが、トレーニングはしばしばゆっくりと収束し、安定性に欠ける。 AHSAR(Adaptive Homeostatic Spiking Activity Regulation)は,超簡易なプラグインおよびトレーニングパラダイムである。 AHSARは最適化を安定化し、モデルアーキテクチャや損失、勾配を変更することなく収束を加速する。
• 参考スコア（独自算出の注目度）: 40.57310813106791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks offer event driven computation, sparse activation, and hardware efficiency, yet training often converges slowly and lacks stability. We present Adaptive Homeostatic Spiking Activity Regulation (AHSAR), an extremely simple plug in and training paradigm agnostic method that stabilizes optimization and accelerates convergence without changing the model architecture, loss, or gradients. AHSAR introduces no trainable parameters. It maintains a per layer homeostatic state during the forward pass, maps centered firing rate deviations to threshold scales through a bounded nonlinearity, uses lightweight cross layer diffusion to avoid sharp imbalance, and applies a slow across epoch global gain that combines validation progress with activity energy to tune the operating point. The computational cost is negligible. Across diverse training methods, SNN architectures of different depths, widths, and temporal steps, and both RGB and DVS datasets, AHSAR consistently improves strong baselines and enhances out of distribution robustness. These results indicate that keeping layer activity within a moderate band is a simple and effective principle for scalable and efficient SNN training.
• Abstract（参考訳）: スパイキングニューラルネットワークは、イベント駆動計算、スパースアクティベーション、ハードウェア効率を提供するが、トレーニングはしばしばゆっくりと収束し、安定性に欠ける。 本稿では, モデルアーキテクチャ, 損失, 勾配を変化させることなく, 最適化を安定させ, 収束を加速する, 極めて単純なプラグインおよびトレーニングパラダイム非依存の手法であるアダプティブ・ホメオスタティック・スパイキング・アクティビティ・レギュレーション(AHSAR)を提案する。 AHSARはトレーニング可能なパラメータを導入しない。 フォワードパスの間は、各層ごとの恒常状態を維持し、境界非線形性を通じて中心となる発射速度の偏差をしきい値スケールにマッピングし、急激な不均衡を避けるために軽量なクロス層拡散を用い、エポジカルなグローバルゲインを適用して、検証処理と活動エネルギーを組み合わせて動作点を調整する。 計算コストは無視できる。 多様なトレーニング方法、異なる深さ、幅、時間ステップのSNNアーキテクチャ、RGBおよびDVSデータセット、AHSARは、一貫して強力なベースラインを改善し、分散の堅牢性を向上する。 これらの結果から,中等帯域における層活動の維持は,スケーラブルかつ効率的なSNNトレーニングの簡便かつ効果的な原理であることが示唆された。

関連論文リスト

• An Exact Gradient Framework for Training Spiking Neural Networks [0.7366405857677227]
  スパイクニューラルネットワークは本質的に、離散スパイクイベントの正確なタイミングを情報処理に頼っている。 本稿では、シナプス重みと伝送遅延に関して正確な損失勾配を計算するイベント駆動学習フレームワークを提案する。 複数のベンチマークの実験では、既存の手法と比較して精度(最大7%)、タイミング精度、堅牢性が顕著に向上した。
  論文  参考訳（メタデータ） (2025-07-08T11:55:27Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• EXODUS: Stable and Efficient Training of Spiking Neural Networks [0.0]
  エネルギー効率が最も重要である機械学習タスクでは、スパイキングニューラルネットワーク(SNN)が大きな注目を集めている。 ShresthaとOrchard [2018]による以前の作業では、SLAYERと呼ばれる効率的なGPU加速バックプロパゲーションアルゴリズムが採用されており、トレーニングの大幅なスピードアップを実現している。 我々はSLAYERを修正してEXODUSと呼ばれるアルゴリズムを設計し、ニューロンリセット機構を考慮し、インプリシット関数定理(IFT)を適用して正しい勾配を計算する。
  論文  参考訳（メタデータ） (2022-05-20T15:13:58Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
  本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。