論文の概要: ENCL: Enabling Efficient Neuromorphic Continual Learning with Local Learning Rule and Sub-Network Freezing Strategy

• arxiv url: http://arxiv.org/abs/2610.31927v1
• Date: Thu, 22 Oct 2026 21:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.296194
• Title: ENCL: Enabling Efficient Neuromorphic Continual Learning with Local Learning Rule and Sub-Network Freezing Strategy
• Title（参考訳）: ENCL:局所学習ルールとサブネットワーク凍結戦略による効果的なニューロモルフィック連続学習の実現
• Abstract要約: ニューラルネットワークにおける連続学習(CL)は、デプロイされたシステムの知識を更新するための有望な学習アプローチである。 我々は,軽量なローカル学習ルールとサブネットワーク凍結戦略を用いて,効率的なNCLを実現する新しい手法であるENCLを提案する。 ENCLは、最先端の作業と比較して、さまざまなデータセットにわたる強力なパフォーマンスを一貫して達成している。
• 参考スコア（独自算出の注目度）: 2.843343423777981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) in neural networks is a promising learning approach for updating the knowledge of deployed systems based on new data encountered at run time, that have not been learned during the offline training phase. To enable their power/energy-efficient CL processing, neuromorphic continual learning (NCL) concept with sparse event-based operations have recently been introduced. However, state-of-the-art NCL methods typically employ the memory-hungry data/experience replay, coupled with costly global learning rule (i.e., backpropagation-based surrogate gradient). To address these limitations, we propose ENCL, a novel methodology that enables efficient NCL by employing a lightweight local learning rule and sub-network freezing strategy. ENCL leverages the temporally- and spatially-local learning rule to perform efficient credit assignment for training new tasks, alleviating the expensive cost of global learning rule. ENCL also employs a sub-network freezing strategy based on the given tasks to avoid the needs for network architecture expansion, hence further improving the efficiency and scalability of the NCL training process. To efficiently support this, we train each task with a small number of epochs as well as adjusted learning rate and timestep. Experiment results on task-incremental learning (TIL) scenario show that, our ENCL consistently achieves strong performance across different datasets as compared to state-of-the-art works. Specifically, ENCL achieves competitive accuracy comparable to that of the state-of-the-art data/experience replay, while reducing memory cost by up to 88%, NCL training time by up to 51%, average power consumption by up to 40%, and energy consumption by up to 65% across different benchmarking datasets (i.e., Split MNIST, Split Fashion MNIST, Split CIFAR-10, and Split CIFAR-100).
• Abstract（参考訳）: ニューラルネットワークにおける連続学習(CL)は、オフライントレーニングフェーズで学習されていない実行時に遭遇した新しいデータに基づいて、デプロイされたシステムの知識を更新するための、有望な学習アプローチである。 電力/エネルギー効率の高いCL処理を実現するため,イベントベース操作の少ないニューロモルフィック連続学習(NCL)の概念が最近導入された。 しかし、最先端のNCL法は一般的に、メモリ不足のデータ/経験リプレイと、コストのかかるグローバルな学習規則(バックプロパゲーションベースのサロゲート勾配)を併用する。 これらの制約に対処するために,軽量なローカル学習ルールとサブネットワーク凍結戦略を用いて,効率的なNCLを実現する新しい手法であるENCLを提案する。 ENCLは、時間的および空間的局所的な学習規則を利用して、新しいタスクの訓練に効率的なクレジット割り当てを行い、グローバルな学習規則のコストを軽減している。 ENCLはまた、与えられたタスクに基づいたサブネットワーク凍結戦略を採用し、ネットワークアーキテクチャの拡張の必要性を回避し、NCLトレーニングプロセスの効率とスケーラビリティをさらに向上させる。 これを支援するために,各タスクを少数のエポックで訓練し,学習率や時間経過を調整した。 タスクインクリメンタルラーニング(TIL)のシナリオにおける実験結果から、ENCLは、最先端の作業と比較して、異なるデータセット間での強いパフォーマンスを一貫して達成しています。 具体的には、ENCLは最先端のデータ/経験リプレイに匹敵する競争精度を達成し、メモリコストを最大88%削減し、NCLトレーニング時間を最大51%削減し、平均消費電力を最大40%削減し、異なるベンチマークデータセット(Split MNIST、Split Fashion MNIST、Split CIFAR-10、Split CIFAR-100)で最大65%削減する。

関連論文リスト

• CLoRA: Parameter-Efficient Continual Learning with Low-Rank Adaptation [14.2843647693986]
  Low-Rank Adaptation (LoRA)は、クラスインクリメンタルセマンティックセグメンテーションのためのパラメータ効率の高い微調整法である。 CLoRAは、トレーニングのハードウェア要件を大幅に削減し、デプロイ後のリソース制約のある環境でのCLに適している。
  論文  参考訳（メタデータ） (2025-07-26T09:36:05Z)
• Metalearning Continual Learning Algorithms [42.710124929514066]
  本稿では,自己参照型ニューラルネットワークを連続的(メタ)学習アルゴリズムに学習するために,ACL(Automated Continual Learning)を提案する。 ACLは、継続学習(CL)デシダラタ(古いタスクと新しいタスクの両方で優れたパフォーマンス)をメタラーニング目標にエンコードする。 我々の実験は、ACLが「コンテキスト内破滅的忘れ」を効果的に解決することを示した。
  論文  参考訳（メタデータ） (2023-12-01T01:25:04Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• SparCL: Sparse Continual Learning on the Edge [43.51885725281063]
  本稿では,エッジデバイス上でコスト効率のよい連続学習を実現するために,スパース連続学習(Sparse Continual Learning, SparCL)と呼ばれる新しいフレームワークを提案する。 SparCLは、重み空間、データ効率、勾配空間という3つの側面の相乗効果により、トレーニングの加速と精度の保存を両立させる。
  論文  参考訳（メタデータ） (2022-09-20T05:24:48Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。