論文の概要: Activation-Energy Pruning for Spiking Neural Networks: Unsupervised Personalization via Spike-Count Saliency

• arxiv url: http://arxiv.org/abs/2609.26167v1
• Date: Tue, 11 Aug 2026 06:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.907851
• Title: Activation-Energy Pruning for Spiking Neural Networks: Unsupervised Personalization via Spike-Count Saliency
• Title（参考訳）: スパイクニューラルネットワークの活性化エネルギープランニング:スパイク・コウント・サリエンシによる教師なしパーソナライゼーション
• Abstract要約: 従来のネットワーク上で競争力のある勾配に基づくプルーニング手法はSNNでは一貫して性能が劣っていることを示す。 そこで本研究では,サロゲート・グラディエント・サリエンシ推定と2進スパイク・トレイン表現の系統的不整合性について考察した。 我々はこの結果が経験に依存した皮質の特殊化と一致していると解釈する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation-energy pruning -- removing weights whose product of magnitude and cumulative pre-synaptic spike count falls below a threshold -- was established as an effective unsupervised personalization strategy for conventional deep neural networks~\citep{BINGHAM2025101242}. This paper asks what happens when the same criterion is applied to spiking neural networks (SNNs), where activation energy is not merely a useful heuristic but a literal physical quantity proportional to the metabolic cost of each synapse. The answer is surprising on three counts. First, gradient-based pruning methods that perform competitively on conventional networks (SNIP, GraSP, magnitude pruning) consistently underperform on SNNs, collapsing to near-chance accuracy by $σ= 0.2$ sparsity across all tested architectures and datasets. We trace this to a systematic incompatibility between surrogate-gradient saliency estimation and the binary spike-train representation, though we cannot rule out that alternative surrogate choices or hyperparameter settings might partially mitigate the effect. Second, activation-energy pruning applied to a neuromorphic benchmark \emph{improves} over the source model at high sparsity ($98.4 \pm 0.4\%$ vs.\ $97.2 \pm 0.7\%$ at $σ= 0.8$ on N-MNIST), a phenomenon with no counterpart in the conventional network setting. We interpret this result as consistent with experience-dependent cortical specialisation: removing connections active only for non-target classes may reduce cross-class interference and produce a cleaner target representation, though we note this is an interpretive analogy rather than a mechanistic demonstration.
• Abstract（参考訳）: アクティベーション・エネルギ・プルーニング(Activation-Energy Pruning)は、従来のディープニューラルネットワークの効果的な教師なしパーソナライズ戦略として確立された。 本稿では, 活性化エネルギーは単なる有用ヒューリスティックではなく, それぞれのシナプスの代謝コストに比例したリテラル物理量である, スパイクニューラルネットワーク(SNN)に同じ基準を適用したときに何が起こるのかを問う。 その答えは3つの点で驚きだ。 まず、従来のネットワーク(SNIP、GraSP、マグニチュードプルーニング)で競争力のある勾配ベースのプルーニング手法は、SNNでは一貫して性能が劣り、テスト済みのアーキテクチャやデータセットの全てで、σ=0.2$の精度で崩壊する。 代用サロゲート選択やハイパーパラメータ設定が部分的に効果を緩和する可能性は否定できないが、代用サロゲート-段階的なサリエンシ推定と二進スパイク-トレイン表現の体系的不整合性に辿り着く。 第二に、活性化エネルギープルーニングは、高間隔でのソースモデル上のニューロモルフィックベンチマーク \emph{improves} に適用される(98.4 \pm 0.4\%$ vs.)。 97.2 \pm 0.7\%$ at $σ= 0.8$ on N-MNIST は、従来のネットワーク設定にはない現象である。 非ターゲットクラスのみにアクティブな接続を取り除くことで、クラス間の干渉を減らし、よりクリーンなターゲット表現を生成することができるが、これは機械的なデモンストレーションというよりは解釈的なアナロジーである。

関連論文リスト

• Time Is All It Takes: Spike-Retiming Attacks on Event-Driven Spiking Neural Networks [87.16809558673403]
  スパイキングニューラルネットワーク(SNN)は離散スパイクで計算し、時間構造を利用する。 イベント駆動SNNにおけるスパイク数と振幅を保存しながら、既存のスパイクを繰り返すタイミングのみの敵について検討する。
  論文  参考訳（メタデータ） (2026-02-03T09:06:53Z)
• Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons [27.289945121113277]
  死ニューロンの増殖を動的に制御するDemPを導入する。 CIFAR10とImageNetデータセットの実験では、精度とスパーシリティのトレードオフが優れている。
  論文  参考訳（メタデータ） (2024-03-12T14:28:06Z)
• On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
  本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。 ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
  論文  参考訳（メタデータ） (2023-09-26T17:14:10Z)
• High-Level Parallelism and Nested Features for Dynamic Inference Cost and Top-Down Attention [4.051316555028782]
  本稿では,動的推論コストとトップダウンアテンション機構をシームレスに統合する新しいネットワークトポロジーを提案する。 人間の知覚からインスピレーションを得るため、汎用的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせる。 動的推論コストの面では、我々の方法論は最大7,3.48,%のパラメータと84.41,%のギガ乗算累積(GMAC)演算を除外することができる。
  論文  参考訳（メタデータ） (2023-08-09T08:49:29Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。