論文の概要: Efficient Training of Spiking Neural Networks by Spike-aware Data Pruning

• arxiv url: http://arxiv.org/abs/2510.04098v1
• Date: Sun, 05 Oct 2025 08:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.457374
• Title: Efficient Training of Spiking Neural Networks by Spike-aware Data Pruning
• Title（参考訳）: スパイク認識型データプルーニングによるスパイクニューラルネットワークの効率的なトレーニング
• Authors: Chenxiang Ma, Xinyi Chen, Yujie Wu, Kay Chen Tan, Jibin Wu,
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、モデルとデータセットのスケーリングを通じて急速に進歩している。 データプルーニングは、最も有益な例を保持し、冗長な例を捨てることで、トレーニングを加速するための有望な戦略である。 本稿では,これらの課題に対処する新しいスパイク対応データプルーニング法を提案する。
• 参考スコア（独自算出の注目度）: 32.150650007816516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spiking neural networks (SNNs), recognized as an energy-efficient alternative to traditional artificial neural networks (ANNs), have advanced rapidly through the scaling of models and datasets. However, such scaling incurs considerable training overhead, posing challenges for researchers with limited computational resources and hindering the sustained development of SNNs. Data pruning is a promising strategy for accelerating training by retaining the most informative examples and discarding redundant ones, but it remains largely unexplored in SNNs. Directly applying ANN-based data pruning methods to SNNs fails to capture the intrinsic importance of examples and suffers from high gradient variance. To address these challenges, we propose a novel spike-aware data pruning (SADP) method. SADP reduces gradient variance by determining each example's selection probability to be proportional to its gradient norm, while avoiding the high cost of direct gradient computation through an efficient upper bound, termed spike-aware importance score. This score accounts for the influence of all-or-nothing spikes on the gradient norm and can be computed with negligible overhead. Extensive experiments across diverse datasets and architectures demonstrate that SADP consistently outperforms data pruning baselines and achieves training speedups close to the theoretical maxima at different pruning ratios. Notably, SADP reduces training time by 35% on ImageNet while maintaining accuracy comparable to that of full-data training. This work, therefore, establishes a data-centric paradigm for efficient SNN training and paves the way for scaling SNNs to larger models and datasets. The source code will be released publicly after the review process.
• Abstract（参考訳）: 従来の人工知能ニューラルネットワーク(ANN)の代替として認識されているスパイキングニューラルネットワーク(SNN)は、モデルとデータセットのスケーリングを通じて急速に進歩している。 しかし、そのようなスケーリングはトレーニングのオーバーヘッドをかなり引き起こし、限られた計算資源を持つ研究者にとって課題となり、SNNの持続的な開発を妨げている。 データプルーニングは、最も有益な例を保持し、冗長なものを捨てることで、トレーニングを加速するための有望な戦略である。 ANNベースのデータプルーニング手法をSNNに直接適用しても、サンプルの本質的な重要性を捉えることができず、高勾配のばらつきに悩まされる。 これらの課題に対処するために,新しいスパイク対応データ解析法 (SADP) を提案する。 SADPは、各例の選択確率を勾配基準に比例して決定し、効率的な上界による直接勾配計算の高コストを回避し、スパイク認識重要度スコア(英語版)と呼ばれる。 このスコアは、勾配ノルムに対する全てまたはなしのスパイクの影響を考慮し、無視できるオーバーヘッドで計算することができる。 多様なデータセットやアーキテクチャにわたる大規模な実験により、SADPはデータプルーニングベースラインを一貫して上回り、異なるプルーニング比で理論上の最大値に近いトレーニングスピードアップを達成することが示された。 特にSADPは、ImageNetでのトレーニング時間を35%削減し、フルデータトレーニングと同等の精度を維持している。 この作業は、効率的なSNNトレーニングのためのデータ中心のパラダイムを確立し、より大きなモデルやデータセットにSNNをスケールする方法を開拓する。 ソースコードはレビュープロセスの後に公開される。

関連論文リスト

• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
  スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。 現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。 ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
  論文  参考訳（メタデータ） (2024-09-19T06:52:34Z)
• High-performance deep spiking neural networks with 0.3 spikes per neuron [9.01407445068455]
  バイオインスパイアされたスパイクニューラルネットワーク(SNN)を人工ニューラルネットワーク(ANN)より訓練することは困難である 深部SNNモデルのトレーニングは,ANNと全く同じ性能が得られることを示す。 我々のSNNは1ニューロンあたり0.3スパイク以下で高性能な分類を行い、エネルギー効率の良い実装に役立てる。
  論文  参考訳（メタデータ） (2023-06-14T21:01:35Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks [19.490903216456758]
  スパイキングニューラルネットワーク(SNN)は、非同期離散性とスパース特性を持つニューラルネットワークである。 既存のスパイキング抑制残差ネットワーク(Spiking DS-ResNet)に基づくマルチレベル焼成(MLF)手法を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:39:46Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。