論文の概要: SAFA-SNN: Sparsity-Aware On-Device Few-Shot Class-Incremental Learning with Fast-Adaptive Structure of Spiking Neural Network
- arxiv url: http://arxiv.org/abs/2510.03648v1
- Date: Sat, 04 Oct 2025 03:21:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.177083
- Title: SAFA-SNN: Sparsity-Aware On-Device Few-Shot Class-Incremental Learning with Fast-Adaptive Structure of Spiking Neural Network
- Title(参考訳): SAFA-SNN:スパイキングニューラルネットの高速適応構造を用いたスポーサリティ対応オンデバイスFew-Shotクラスインクリメンタルラーニング
- Authors: Huijing Zhang, Muyang Cao, Linshan Jiang, Xin Du, Di Yu, Changze Lv, Shuiguang Deng,
- Abstract要約: エッジデバイスがデータプライバシを保持し、動的環境における信頼性の高いパフォーマンスを維持するためには、新しいクラスの継続的学習が不可欠である。
本研究では,SNNを用いたデバイス上でのFSCIL(Sparsity-Aware)とFast Adaptive SNN(Fast Adaptive SNN)を提案する。
- 参考スコア(独自算出の注目度): 19.73335869722781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continuous learning of novel classes is crucial for edge devices to preserve data privacy and maintain reliable performance in dynamic environments. However, the scenario becomes particularly challenging when data samples are insufficient, requiring on-device few-shot class-incremental learning (FSCIL) to maintain consistent model performance. Although existing work has explored parameter-efficient FSCIL frameworks based on artificial neural networks (ANNs), their deployment is still fundamentally constrained by limited device resources. Inspired by neural mechanisms, Spiking neural networks (SNNs) process spatiotemporal information efficiently, offering lower energy consumption, greater biological plausibility, and compatibility with neuromorphic hardware than ANNs. In this work, we present an SNN-based method for On-Device FSCIL, i.e., Sparsity-Aware and Fast Adaptive SNN (SAFA-SNN). We first propose sparsity-conditioned neuronal dynamics, in which most neurons remain stable while a subset stays active, thereby mitigating catastrophic forgetting. To further cope with spike non-differentiability in gradient estimation, we employ zeroth-order optimization. Moreover, during incremental learning sessions, we enhance the discriminability of new classes through subspace projection, which alleviates overfitting to novel classes. Extensive experiments conducted on two standard benchmark datasets (CIFAR100 and Mini-ImageNet) and three neuromorphic datasets (CIFAR-10-DVS, DVS128gesture, and N-Caltech101) demonstrate that SAFA-SNN outperforms baseline methods, specifically achieving at least 4.01% improvement at the last incremental session on Mini-ImageNet and 20% lower energy cost over baseline methods with practical implementation.
- Abstract(参考訳): エッジデバイスがデータプライバシを保持し、動的環境における信頼性の高いパフォーマンスを維持するためには、新しいクラスの継続的学習が不可欠である。
しかし、データサンプルが不十分な場合には特にシナリオが難しくなり、一貫性のあるモデルパフォーマンスを維持するには、デバイス上でのいくつかのクラスインクリメンタルラーニング(FSCIL)が必要である。
既存の研究は、人工知能ニューラルネットワーク(ANN)に基づいたパラメータ効率の高いFSCILフレームワークを探索してきたが、そのデプロイメントは依然として、限られたデバイスリソースによって制限されている。
神経機構にインスパイアされたスパイキングニューラルネットワーク(SNN)は、時空間情報を効率的に処理し、エネルギー消費の低減、生物学的可視性の向上、ANNよりもニューロモルフィックハードウェアとの互換性を提供する。
本研究では,SNNを用いたデバイス上でのFSCIL(Sparsity-Aware and Fast Adaptive SNN,SAFA-SNN)を提案する。
まず,小部分集合が活動的である間,ほとんどのニューロンが安定に保たれ,破滅的忘れを和らげるスペーサ性条件の神経力学を提案する。
勾配推定におけるスパイク非微分可能性にさらに対処するために、ゼロ階最適化を用いる。
さらに、漸進的な学習セッションでは、新しいクラスへの過度な適合を緩和するサブスペースプロジェクションにより、新しいクラスの識別性を高める。
2つの標準ベンチマークデータセット(CIFAR100とMini-ImageNet)と3つのニューロモルフィックデータセット(CIFAR-10-DVS、DVS128gesture、N-Caltech101)で実施された大規模な実験は、SAFA-SNNがベースライン手法より優れており、特にMini-ImageNetの最後のインクリメンタルセッションで少なくとも4.01%改善し、実用的な実装でベースライン手法よりも20%低いエネルギーコストを実現していることを示した。
関連論文リスト
- Self-cross Feature based Spiking Neural Networks for Efficient Few-shot Learning [16.156610945877986]
スパイキングニューラルネットワーク(SNN)に基づく数発の学習フレームワークを提案する。
列車の時間的スパイクダイナミクスを最適化し,識別力を高めるために,時間的効率的なトレーニング損失と情報損失の組み合わせを適用した。
論文 参考訳(メタデータ) (2025-05-12T16:51:08Z) - ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning [15.022211557367273]
クラスインクリメンタルラーニング(CIL)のための動的構造を持つスパイキングニューラルネットワーク(SNN)を開発した。
このフレームワークは、バランスの取れた特徴表現のための適応ロジットアライメントと、凍結した古い特徴をトレーニング中に新しいクラスにマッピングする重み管理のためのOtoN抑制を含む。
実験の結果、ALADE-SNNはCIFAR100-B0ベンチマークで平均75.42のインクリメンタル精度を10段階以上達成していることがわかった。
論文 参考訳(メタデータ) (2024-12-17T09:13:22Z) - Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks [50.32980443749865]
スパイキングニューラルネットワーク(SNN)は、低消費電力と高い生物性のために大きな注目を集めている。
現在のSNNは、ニューロモルフィックデータセットの正確性とレイテンシのバランスをとるのに苦労している。
ニューロモルフィックデータセットに適したステップワイド蒸留法(HSD)を提案する。
論文 参考訳(メタデータ) (2024-09-19T06:52:34Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - KLIF: An optimized spiking neuron unit for tuning surrogate gradient
slope and membrane potential [0.0]
スパイキングニューラルネットワーク(SNN)は、時間情報を処理する能力によって、多くの注目を集めている。
SNNのための効率的かつ高性能な学習アルゴリズムを開発することは依然として困難である。
我々は,SNNの学習能力を向上させるため,新しいk-based leaky Integrate-and-Fireneurnモデルを提案する。
論文 参考訳(メタデータ) (2023-02-18T05:18:18Z) - PC-SNN: Predictive Coding-based Local Hebbian Plasticity Learning in Spiking Neural Networks [9.026880521552153]
Spiking Neural Networks (SNN) は、脳の情報処理を非並列な生物学的確率でエミュレートする。
そこで我々は,PC-SNNを提案する。PC-SNNは,予測符号化をSNNと統合し,生物学的に可塑性,局所的なヘビアン可塑性を実現する学習フレームワークである。
論文 参考訳(メタデータ) (2022-11-24T09:56:02Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。