論文の概要: Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2511.12097v1
• Date: Sat, 15 Nov 2025 08:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.60381
• Title: Sparse by Rule: Probability-Based N:M Pruning for Spiking Neural Networks
• Title（参考訳）: ルールによるスパース:確率に基づくニューラルネットワークのためのN:Mプルーニング
• Authors: Shuhan Ye, Yi Yu, Qixin Zhang, Chenqi Kong, Qiangqiang Wu, Xudong Jiang, Dacheng Tao,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算を通じてエネルギー効率の高いインテリジェンスを約束するが、より深いアーキテクチャはパラメータと計算コストを増大させ、エッジデプロイメントを妨げている。 SNNプルーニングの最近の進歩は、この負担を軽減するのに役立っているが、既存の取り組みは、スパシティが高いが一般的なハードウェアでは加速が難しいインハン構造化プルーニング(emphunstructured pruning)と、デプロイが容易だが柔軟性に欠けるエンハン構造化プルーニング(emphstructured pruning)の2つのファミリーに限られる。 最初のSNNであるbfSpikeNMを紹介する。
• 参考スコア（独自算出の注目度）: 66.61171793101872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Brain-inspired Spiking neural networks (SNNs) promise energy-efficient intelligence via event-driven, sparse computation, but deeper architectures inflate parameters and computational cost, hindering their edge deployment. Recent progress in SNN pruning helps alleviate this burden, yet existing efforts fall into only two families: \emph{unstructured} pruning, which attains high sparsity but is difficult to accelerate on general hardware, and \emph{structured} pruning, which eases deployment but lack flexibility and often degrades accuracy at matched sparsity. In this work, we introduce \textbf{SpikeNM}, the first SNN-oriented \emph{semi-structured} \(N{:}M\) pruning framework that learns sparse SNNs \emph{from scratch}, enforcing \emph{at most \(N\)} non-zeros per \(M\)-weight block. To avoid the combinatorial space complexity \(\sum_{k=1}^{N}\binom{M}{k}\) growing exponentially with \(M\), SpikeNM adopts an \(M\)-way basis-logit parameterization with a differentiable top-\(k\) sampler, \emph{linearizing} per-block complexity to \(\mathcal O(M)\) and enabling more aggressive sparsification. Further inspired by neuroscience, we propose \emph{eligibility-inspired distillation} (EID), which converts temporally accumulated credits into block-wise soft targets to align mask probabilities with spiking dynamics, reducing sampling variance and stabilizing search under high sparsity. Experiments show that at \(2{:}4\) sparsity, SpikeNM maintains and even with gains across main-stream datasets, while yielding hardware-amenable patterns that complement intrinsic spike sparsity.
• Abstract（参考訳）: 脳にインスパイアされたスパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算を通じてエネルギー効率の高いインテリジェンスを約束するが、より深いアーキテクチャはパラメータと計算コストを増大させ、エッジデプロイメントを妨げている。 SNNプルーニングの最近の進歩は、この負担を軽減するのに役立っているが、既存の取り組みは2つのファミリーに限られている: \emph{unstructured}プルーニングは、高い空間性を実現するが、一般的なハードウェアでは加速が難しい \emph{structured}プルーニングと、デプロイが容易だが柔軟性に欠け、しばしば一致する空間で精度が低下する \emph{structured}プルーニングである。 本研究では,SNN を対象とする最初の emph{semi-structured} \(N{:}M\) プルーニングフレームワークである \textbf{SpikeNM} を紹介する。 組合せ空間の複雑性 \(\sum_{k=1}^{N}\binom{M}{k}\) が \(M\) と指数関数的に増加するのを避けるために、SpikeNM は \(M\)-ウェイ基底-ロジットパラメータ化を微分可能なトップ-(k\) サンプリング器で導入し、ブロックごとの複雑性を \(\mathcal O(M)\) に拡大し、より積極的なスパース化を可能にする。 さらに神経科学に触発されて、時間的に蓄積したクレジットをブロックワイドなターゲットに変換し、マスク確率をスパイキングダイナミクスと整合させ、サンプリングのばらつきを低減し、高頻度で探索を安定化させる「emph{eligibility-inspired distillation}」(EID)を提案する。 実験によると、(2{:}4\)のスパーシリティでは、SpikeNMはメインストリームのデータセットをまたいだ利得を維持しながら、本質的なスパイクスパシリティを補完するハードウェア対応のパターンを生成する。

関連論文リスト

• S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
  スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。 最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。 1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T04:17:44Z)
• Barycentric Neural Networks and Length-Weighted Persistent Entropy Loss: A Green Geometric and Topological Framework for Function Approximation [0.0]
  BNN(Barycentric Neural Network)は,構造とパラメータを固定されたベースポイントと関連するバリ中心座標によってエンコードする,コンパクトな浅層アーキテクチャである。 我々は,BNNが連続的部分的線形関数(CPLF)の正確な表現を可能にし,セグメント間の厳密な連続性を保証することを示す。 提案手法は,内部パラメータではなく,BNNを定義するベースポイントを最適化するために,LWPEに基づく損失関数とBNNを統合している。
  論文  参考訳（メタデータ） (2025-09-08T13:47:21Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [86.87385758192566]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 本稿では,新しいGNNアーキテクチャを提案する。このアーキテクチャでは,Emphforwardパスは,Emphboth陽性(典型的)と負陰性(アプローチに共通)のエッジに明示的に依存する。 これは、埋め込み自体を、正と負のサンプルの分離を好むフォワードパス特異的エネルギー関数の最小化子として再キャストすることで達成される。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Towards Zero Memory Footprint Spiking Neural Network Training [7.4331790419913455]
  スパイキングニューラルネットワーク(SNN)は、連続値ではなくスパイクと呼ばれる離散時間イベントを使用して情報を処理する。 本稿では,メモリフットプリントが著しく低いことを特徴とする,革新的なフレームワークを提案する。 我々の設計では、現在のSNNノードと比較してメモリ使用量の削減を$mathbf58.65times$で達成できる。
  論文  参考訳（メタデータ） (2023-08-16T19:49:24Z)
• Spatial Re-parameterization for N:M Sparsity [99.38650135086931]
  SpReは、トレーニング時に元のN:Mブランチと合わせて余分な分岐を割り当てることで、非構造化空間の空間スパーシティ分布を利用する。 SpReは、N:Mのスパーシリティ法と最先端の非構造化のスパーシティ法のパフォーマンスをマッチングすることで、賞賛できる偉業を成し遂げた。
  論文  参考訳（メタデータ） (2023-06-09T01:11:50Z)
• Exploring Tradeoffs in Spiking Neural Networks [0.0]
  Spiking Neural Networks(SNN)は、低消費電力コンピューティングのための従来のDeep Neural Networksに代わる有望な代替品として登場した。 スパイク制約の緩和は、より高速な収束、類似の空間性、同等の予測遅延、TTFS SNNと比較してノイズに対するロバスト性の向上といったメリットを享受しつつ、より高いパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2022-12-15T20:18:14Z)
• Efficient Learning of Mesh-Based Physical Simulation with BSMS-GNN [36.73790892258642]
  Bi-strideは、ブロードスファースト検索のすべてのフロンティアにノードをプールする。 U-Netに類似したレベルごとの1MPスキームと非パラメタライズドプールは計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2022-10-05T21:45:16Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。