論文の概要: Replay4NCL: An Efficient Memory Replay-based Methodology for Neuromorphic Continual Learning in Embedded AI Systems

• arxiv url: http://arxiv.org/abs/2503.17061v1
• Date: Fri, 21 Mar 2025 11:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:59:00.592556
• Title: Replay4NCL: An Efficient Memory Replay-based Methodology for Neuromorphic Continual Learning in Embedded AI Systems
• Title（参考訳）: Replay4NCL: 組み込みAIシステムにおけるニューロモルフィック連続学習のための効率的なメモリリプレイベース手法
• Authors: Mishal Fatima Minhas, Rachmad Vidya Wicaksana Putra, Falah Awwad, Osman Hasan, Muhammad Shafique,
• Abstract要約: ニューロモルフィック連続学習(NCL)は、AIシステムが動的に変化する環境に適応できるようにする。 現在、最先端技術は古い知識を維持するためにメモリ再生方式を採用している。 組込みAIシステムにおけるNCLを実現するための,新しい効率的なメモリ再生方式であるReplay4NCLを提案する。
• 参考スコア（独自算出の注目度）: 5.213243471774097
• License:
• Abstract: Neuromorphic Continual Learning (NCL) paradigm leverages Spiking Neural Networks (SNNs) to enable continual learning (CL) capabilities for AI systems to adapt to dynamically changing environments. Currently, the state-of-the-art employ a memory replay-based method to maintain the old knowledge. However, this technique relies on long timesteps and compression-decompression steps, thereby incurring significant latency and energy overheads, which are not suitable for tightly-constrained embedded AI systems (e.g., mobile agents/robotics). To address this, we propose Replay4NCL, a novel efficient memory replay-based methodology for enabling NCL in embedded AI systems. Specifically, Replay4NCL compresses the latent data (old knowledge), then replays them during the NCL training phase with small timesteps, to minimize the processing latency and energy consumption. To compensate the information loss from reduced spikes, we adjust the neuron threshold potential and learning rate settings. Experimental results on the class-incremental scenario with the Spiking Heidelberg Digits (SHD) dataset show that Replay4NCL can preserve old knowledge with Top-1 accuracy of 90.43% compared to 86.22% from the state-of-the-art, while effectively learning new tasks, achieving 4.88x latency speed-up, 20% latent memory saving, and 36.43% energy saving. These results highlight the potential of our Replay4NCL methodology to further advances NCL capabilities for embedded AI systems.
• Abstract（参考訳）: ニューロモルフィック連続学習(NCL)パラダイムは、スパイキングニューラルネットワーク(SNN)を活用して、AIシステムが動的に変化する環境に適応するための継続学習(CL)機能を実現する。 現在、最先端技術は古い知識を維持するためにメモリ再生方式を採用している。 しかし、この技術は長い時間ステップと圧縮圧縮ステップに依存しており、それによって遅延とエネルギーのオーバーヘッドが著しく発生し、それは厳密に制約された組込みAIシステム(例えば、モバイルエージェント/ロボティクス)には適さない。 そこで我々は,組込みAIシステムにおけるNCLを実現するための,新しい効率的なメモリリプレイベースの手法であるReplay4NCLを提案する。 具体的には、Replay4NCLは遅延データ(古い知識)を圧縮し、NCLトレーニングフェーズ中に小さなタイムステップで再生し、処理遅延とエネルギー消費を最小限に抑える。 スパイクの減少による情報損失を補うため、ニューロン閾値電位と学習速度設定を調整する。 Spiking Heidelberg Digits (SHD)データセットによるクラスインクリメンタルシナリオの実験結果によると、Replay4NCLは最先端の86.22%と比較して90.43%の精度で古い知識を保存できる一方で、新しいタスクを効果的に学習し、4.88倍のレイテンシ、20%の遅延メモリ、36.43%の省エネを実現している。 これらの結果は、組み込みAIシステムにおけるNCL機能をさらに向上するReplay4NCL方法論の可能性を強調している。

関連論文リスト

• Analog Spiking Neuron in CMOS 28 nm Towards Large-Scale Neuromorphic Processors [0.8426358786287627]
  本研究では,TSMCの28nmCMOS技術を用いた低消費電力Leaky Integrate- and-Fireニューロンの設計を提案する。 製造されたニューロンは1.61 fJ/スパイクを消費し、34$mu m2$の活性領域を占有し、最大スパイク周波数は250mVで300kHzである。
  論文  参考訳（メタデータ） (2024-08-14T17:51:20Z)
• Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
  デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。 本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。 この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
  論文  参考訳（メタデータ） (2024-04-15T09:33:09Z)
• NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [50.00272243518593]
  ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は問題の多いままである。 我々は低電圧状態におけるエネルギー精度のトレードオフを処理する新しいアドオンモジュールであるNeuralFuseを開発した。 1%のビットエラー率で、NeuralFuseはアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-29T11:38:22Z)
• Sharing Leaky-Integrate-and-Fire Neurons for Memory-Efficient Spiking Neural Networks [9.585985556876537]
  Leaky-Integrate-and-Fire(LIF)ニューロンの非線形活性化は、スパイクの時間的ダイナミクスを捉えるために膜電圧を保持するために追加のメモリを必要とする。 本稿では,LIFニューロンを異なる層とチャネルで共有する,シンプルで効果的なLIF-Netを提案する。 EfficientLIF-Netは、標準的なSNNと同等の精度を実現し、LIFニューロンの4.3倍の前方メモリ効率と21.9倍の後方メモリ効率を実現した。
  論文  参考訳（メタデータ） (2023-05-26T22:55:26Z)
• NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks [6.205922305859479]
  NISPAアーキテクチャは、学習した知識を古いタスクから保存するために安定した経路を形成する。 NISPAは最先端の継続的学習ベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-06-18T04:56:49Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。