論文の概要: Online Continual Learning via Spiking Neural Networks with Sleep Enhanced Latent Replay
- arxiv url: http://arxiv.org/abs/2507.02901v2
- Date: Thu, 10 Jul 2025 02:48:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 14:32:08.275048
- Title: Online Continual Learning via Spiking Neural Networks with Sleep Enhanced Latent Replay
- Title（参考訳）: スリープ強化潜時リプレイによるスパイクニューラルネットワークによるオンライン連続学習
- Authors: Erliang Lin, Wenbin Luo, Wei Jia, Yu Chen, Shaofu Yang,
- Abstract要約: 本稿では,SESLRと呼ばれる新しいオンライン連続学習手法を提案する。
スパイキングニューラルネットワーク(SNN)を用いた睡眠増強潜時リプレイスキームを組み込んだ。
従来の(MNIST, CIFAR10)とニューロモルフィック(NMNIST, CIFAR10-DVS)の両方の実験は、SESLRの有効性を示している。
- 参考スコア（独自算出の注目度）: 8.108335297331658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Edge computing scenarios necessitate the development of hardware-efficient online continual learning algorithms to be adaptive to dynamic environment. However, existing algorithms always suffer from high memory overhead and bias towards recently trained tasks. To tackle these issues, this paper proposes a novel online continual learning approach termed as SESLR, which incorporates a sleep enhanced latent replay scheme with spiking neural networks (SNNs). SESLR leverages SNNs' binary spike characteristics to store replay features in single bits, significantly reducing memory overhead. Furthermore, inspired by biological sleep-wake cycles, SESLR introduces a noise-enhanced sleep phase where the model exclusively trains on replay samples with controlled noise injection, effectively mitigating classification bias towards new classes. Extensive experiments on both conventional (MNIST, CIFAR10) and neuromorphic (NMNIST, CIFAR10-DVS) datasets demonstrate SESLR's effectiveness. On Split CIFAR10, SESLR achieves nearly 30% improvement in average accuracy with only one-third of the memory consumption compared to baseline methods. On Split CIFAR10-DVS, it improves accuracy by approximately 10% while reducing memory overhead by a factor of 32. These results validate SESLR as a promising solution for online continual learning in resource-constrained edge computing scenarios.
- Abstract（参考訳）: エッジコンピューティングのシナリオは、動的環境に適応するために、ハードウェア効率のよいオンライン連続学習アルゴリズムの開発を必要とする。
しかし、既存のアルゴリズムは、常に、最近訓練されたタスクに対する高いメモリオーバーヘッドとバイアスに悩まされている。
これらの課題に対処するために,スリープ強化潜時リプレイ方式とスパイクニューラルネットワーク(SNN)を組み合わせた,SESLRと呼ばれる新しいオンライン連続学習手法を提案する。
SESLRはSNNのバイナリスパイク特性を利用してリプレイ機能を単一ビットに格納し、メモリオーバーヘッドを大幅に削減する。
さらに、生物学的睡眠覚醒サイクルにインスパイアされたSESLRは、制御されたノイズ注入によるサンプルの再生のみを訓練し、新しいクラスに対する分類バイアスを効果的に緩和するノイズ強化睡眠フェーズを導入している。
従来の (MNIST, CIFAR10) およびニューロモルフィック (NMNIST, CIFAR10-DVS) データセットの広範な実験は、SESLRの有効性を示している。
Split CIFAR10では、SESLRはベースライン法に比べてメモリ消費の3分の1程度で平均精度が30%近く向上している。
Split CIFAR10-DVSでは、メモリオーバーヘッドを32倍に削減しながら、約10%の精度向上を実現している。
これらの結果は、資源制約のあるエッジコンピューティングシナリオにおけるオンライン連続学習のための有望なソリューションとしてSESLRを検証する。
関連論文リスト
- A Scalable Hybrid Training Approach for Recurrent Spiking Neural Networks [13.220581846415957]
本稿では、並列化の効率と近似オンライン前方学習を組み合わせたHYPR(HYbrid PRopagation)を提案する。
HYPRは、ほぼ任意の非線形スパイキングニューロンモデルからなるRSNNのサブシーケンスに対するパラメータ更新の並列化を可能にする。
このタイプのニューロンモデルは、HYPRにより特に訓練可能であり、前向き勾配学習とBPTTの間には、前例のない低いタスク性能のギャップが生じることが判明した。
論文 参考訳（メタデータ） (2025-06-17T12:27:25Z) - Compressed Latent Replays for Lightweight Continual Learning on Spiking Neural Networks [45.53312220335389]
我々は、スパイキングニューラルネットワーク(SNN)のためのLR(Latent Replay)ベースのCLの最初のメモリ効率実装を紹介する。
LRは、新しいサンプルと以前に学習したデータの潜在表現を組み合わせることで、忘れを緩和する。
サンプルタスクとクラスインクリメンタルタスクを用いたハイデルベルクSHDデータセットの実験は、それぞれ92.5%と92%のTop-1精度に達した。
論文 参考訳（メタデータ） (2024-05-08T09:03:17Z) - Neuromorphic Online Learning for Spatiotemporal Patterns with a
Forward-only Timeline [5.094970748243019]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、高エネルギー効率のバイオプレースブルコンピューティングモデルである。
BPTT(Back Proagation Through Time)は、伝統的にSNNのトレーニングに使用される。
SNNのオンライン学習に特化して設計されたSOLSA(Spatiotemporal Online Learning for Synaptic Adaptation)を提案する。
論文 参考訳（メタデータ） (2023-07-21T02:47:03Z) - Online Training Through Time for Spiking Neural Networks [66.7744060103562]
スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。
近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。
本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
論文 参考訳（メタデータ） (2022-10-09T07:47:56Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。
そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。
実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
論文 参考訳（メタデータ） (2022-08-05T03:15:28Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Spiking Neural Networks with Improved Inherent Recurrence Dynamics for
Sequential Learning [6.417011237981518]
漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。
我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。
そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
論文 参考訳（メタデータ） (2021-09-04T17:13:28Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳（メタデータ） (2021-03-04T08:14:10Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳（メタデータ） (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。