論文の概要: Compressed Latent Replays for Lightweight Continual Learning on Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2407.03111v2
• Date: Thu, 4 Jul 2024 08:07:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 22:15:07.742178
• Title: Compressed Latent Replays for Lightweight Continual Learning on Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークにおける軽量連続学習のための圧縮潜時リプレイ
• Authors: Alberto Dequino, Alessio Carpegna, Davide Nadalini, Alessandro Savino, Luca Benini, Stefano Di Carlo, Francesco Conti,
• Abstract要約: 我々は、スパイキングニューラルネットワーク(SNN)のためのLR(Latent Replay)ベースのCLの最初のメモリ効率実装を紹介する。 LRは、新しいサンプルと以前に学習したデータの潜在表現を組み合わせることで、忘れを緩和する。 サンプルタスクとクラスインクリメンタルタスクを用いたハイデルベルクSHDデータセットの実験は、それぞれ92.5%と92%のTop-1精度に達した。
• 参考スコア（独自算出の注目度）: 45.53312220335389
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Rehearsal-based Continual Learning (CL) has been intensely investigated in Deep Neural Networks (DNNs). However, its application in Spiking Neural Networks (SNNs) has not been explored in depth. In this paper we introduce the first memory-efficient implementation of Latent Replay (LR)-based CL for SNNs, designed to seamlessly integrate with resource-constrained devices. LRs combine new samples with latent representations of previously learned data, to mitigate forgetting. Experiments on the Heidelberg SHD dataset with Sample and Class-Incremental tasks reach a Top-1 accuracy of 92.5% and 92%, respectively, without forgetting the previously learned information. Furthermore, we minimize the LRs' requirements by applying a time-domain compression, reducing by two orders of magnitude their memory requirement, with respect to a naive rehearsal setup, with a maximum accuracy drop of 4%. On a Multi-Class-Incremental task, our SNN learns 10 new classes from an initial set of 10, reaching a Top-1 accuracy of 78.4% on the full test set.
• Abstract（参考訳）: リハーサルベース連続学習(CL)は,Deep Neural Networks (DNN) において盛んに研究されている。 しかし、スパイキングニューラルネットワーク(SNN)におけるその応用は、まだ深く研究されていない。 本稿では、リソース制約のあるデバイスとシームレスに統合するように設計されたSNNのためのLatent Replay(LR)ベースのCLの最初のメモリ効率実装について紹介する。 LRは、新しいサンプルと以前に学習したデータの潜在表現を組み合わせることで、忘れを緩和する。 サンプルタスクとクラスインクリメンタルタスクによるハイデルベルクSHDデータセットの実験は、それぞれ92.5%と92%のTop-1精度に達した。 さらに、LRの要求を、時間領域圧縮を適用して最小化し、2桁のメモリ要求を減らし、簡単なリハーサル設定をし、最大精度を4%低下させることにより、LRの要求を最小化する。 マルチクラスインクリメンタルタスクでは、SNNは10の初期セットから10の新しいクラスを学習し、Top-1の精度は78.4%に達した。

関連論文リスト

• STOP: Spatiotemporal Orthogonal Propagation for Weight-Threshold-Leakage Synergistic Training of Deep Spiking Neural Networks [11.85044871205734]
  疎疎なバイナリアクティベーションに基づくディープニューラルネットワーク(SNN)モデルは、効率的で高精度なSNNディープラーニングアルゴリズムを欠いている。 我々のアルゴリズムは、シナプス重みを発射する完全相乗的学習アルゴリズムと、ニューロンのしきい値とスパイク因子を併用することにより、SNNの精度を向上させる。 統合された時間的フォワードトレースベースのフレームワークの下では、前方パスにすべての時間ステップのニューラルステートを格納するための巨大なメモリ要件を緩和する。 本手法は,資源に制限があるが高精度なインサイト学習が望まれるエッジインテリジェントシナリオに対して,より有効な方法である。
  論文  参考訳（メタデータ） (2024-11-17T14:15:54Z)
• Boosting Binary Neural Networks via Dynamic Thresholds Learning [21.835748440099586]
  我々はDySignを導入し、情報損失を減らし、BNNの代表能力を高める。 DCNNでは、2つのバックボーンに基づくDyBCNNが、ImageNetデータセット上で71.2%と67.4%のトップ1精度を達成した。 ViTsの場合、DyCCTはImageNetデータセット上で完全にバイナライズされたViTsと56.1%のコンボリューショナル埋め込み層の優位性を示す。
  論文  参考訳（メタデータ） (2022-11-04T07:18:21Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Spiking Neural Networks with Improved Inherent Recurrence Dynamics for Sequential Learning [6.417011237981518]
  漏れた統合と発火(LIF)ニューロンを持つニューラルネットワーク(SNN)は、イベント駆動方式で操作できる。 我々は,SNNを逐次的なタスクのために訓練し,LIFニューロンのネットワークへの修正を提案する。 そこで我々は,提案するSNNのトレーニング手法を開発し,本質的な再帰ダイナミクスを改良した。
  論文  参考訳（メタデータ） (2021-09-04T17:13:28Z)
• Experiments on Properties of Hidden Structures of Sparse Neural Networks [1.227734309612871]
  ニューラルネットワークの構造と性能の関係について,先行,刈り取り,学習中にどのように空間性を実現するかを示し,質問に回答する。 実験では, 圧縮と再学習を80%行うMNISTにおいて, 等級ブラインドプルーニングの精度が97.5%, 圧縮なしで0.5ポイント向上したことを示す。 さらに、Recurrent NetworksがReber文法を学習する際の性能予測では、構造情報のみを与えられた最大0.81ドルのR2$が示される。
  論文  参考訳（メタデータ） (2021-07-27T16:18:13Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。