論文の概要: Toward Lifelong Learning in Equilibrium Propagation: Sleep-like and Awake Rehearsal for Enhanced Stability

• arxiv url: http://arxiv.org/abs/2508.14081v1
• Date: Tue, 12 Aug 2025 20:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.166075
• Title: Toward Lifelong Learning in Equilibrium Propagation: Sleep-like and Awake Rehearsal for Enhanced Stability
• Title（参考訳）: 平衡伝播における生涯学習に向けて--睡眠と覚醒のリハーサルによる安定性向上
• Authors: Yoshimasa Kubo, Jean Erik Delanois, Maxim Bazhenov,
• Abstract要約: 本研究では,EP学習RNNのための睡眠型リプレイ統合(SRC)アルゴリズムを提案する。 SRCは、継続的学習シナリオにおける破滅的な忘れに対するRNNのレジリエンスを著しく改善する。 本研究は、睡眠様リプレイ技術がRNNに適用可能であることを明らかにする。
• 参考スコア（独自算出の注目度）: 1.167489362272148
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recurrent neural networks (RNNs) trained using Equilibrium Propagation (EP), a biologically plausible training algorithm, have demonstrated strong performance in various tasks such as image classification and reinforcement learning. However, these networks face a critical challenge in continuous learning: catastrophic forgetting, where previously acquired knowledge is overwritten when new tasks are learned. This limitation contrasts with the human brain's ability to retain and integrate both old and new knowledge, aided by processes like memory consolidation during sleep through the replay of learned information. To address this challenge in RNNs, here we propose a sleep-like replay consolidation (SRC) algorithm for EP-trained RNNs. We found that SRC significantly improves RNN's resilience to catastrophic forgetting in continuous learning scenarios. In class-incremental learning with SRC implemented after each new task training, the EP-trained multilayer RNN model (MRNN-EP) performed significantly better compared to feedforward networks incorporating several well-established regularization techniques. The MRNN-EP performed on par with MRNN trained using Backpropagation Through Time (BPTT) when both were equipped with SRC on MNIST data and surpassed BPTT-based models on the Fashion MNIST, Kuzushiji-MNIST, CIFAR10, and ImageNet datasets. Combining SRC with rehearsal, also known as "awake replay", further boosted the network's ability to retain long-term knowledge while continuing to learn new tasks. Our study reveals the applicability of sleep-like replay techniques to RNNs and highlights the potential for integrating human-like learning behaviors into artificial neural networks (ANNs).
• Abstract（参考訳）: 生物学的に妥当なトレーニングアルゴリズムであるEquilibrium Propagation(EP)を用いてトレーニングされたリカレントニューラルネットワーク(RNN)は、画像分類や強化学習など、さまざまなタスクにおいて強力なパフォーマンスを示している。 しかし、これらのネットワークは継続的学習において重要な課題に直面している。 この制限は、学習された情報の再生を通じて睡眠中の記憶統合のようなプロセスによって支援される、古い知識と新しい知識の両方を保持、統合する人間の脳の能力とは対照的である。 RNNにおけるこの課題に対処するため、EP学習されたRNNのためのスリープライクリプレイ統合(SRC)アルゴリズムを提案する。 SRCは連続学習シナリオにおける破滅的な忘れ込みに対するRNNのレジリエンスを著しく改善することがわかった。 SRCによるクラス増分学習において、EP訓練された多層RNNモデル(MRNN-EP)は、複数の確立された正規化手法を取り入れたフィードフォワードネットワークに比べて、大幅に向上した。 MRNN-EPは,MNISTデータ上にSRCを装備し,Fashion MNIST, Kuzushiji-MNIST, CIFAR10, ImageNetデータセット上でBPTTベースのモデルを上回る場合に,バックプロパゲーション・スルー・タイム(BPTT)を用いてトレーニングしたMRNNと同等に実行された。 SRCとリハーサルを組み合わせた「ウェイク・リプレイ」は、ネットワークが新たなタスクを学習し続けながら長期的な知識を維持する能力をさらに向上させた。 我々の研究は、睡眠のようなリプレイ技術がRNNに適用可能であることを明らかにし、人間のような学習行動を人工ニューラルネットワーク(ANN)に統合する可能性を強調した。

関連論文リスト

• A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks [66.80058515743468]
  トレーニングスパイキングニューラルネットワーク(SNN)とバイナリニューラルネットワーク(BNN)は、差別化不可能なスパイク生成機能のために困難である。 本稿では, バックプロパゲーションプロセスの解析を通じて, SNN の力学とBNN との密接な関係を考察する。 具体的には、複数のショートカットの構造と知識蒸留に基づくトレーニング技術を活用し、(バイナリウェイト)SNNのトレーニングを改善する。
  論文  参考訳（メタデータ） (2025-08-18T04:11:06Z)
• ALADE-SNN: Adaptive Logit Alignment in Dynamically Expandable Spiking Neural Networks for Class Incremental Learning [15.022211557367273]
  クラスインクリメンタルラーニング(CIL)のための動的構造を持つスパイキングニューラルネットワーク(SNN)を開発した。 このフレームワークは、バランスの取れた特徴表現のための適応ロジットアライメントと、凍結した古い特徴をトレーニング中に新しいクラスにマッピングする重み管理のためのOtoN抑制を含む。 実験の結果、ALADE-SNNはCIFAR100-B0ベンチマークで平均75.42のインクリメンタル精度を10段階以上達成していることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T09:13:22Z)
• Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
  スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。 近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
  論文  参考訳（メタデータ） (2024-03-19T05:37:26Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal Classification [13.521272923545409]
  Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。 本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。 本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:34:01Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Long Short-Term Memory Spiking Networks and Their Applications [10.071615423169902]
  繰り返しスパイクニューラルネットワーク(SNN)のトレーニングのための新しいフレームワークを提案する。 LSTMスパイクネットワークはスパイクのタイミングと時間的依存性を学習する。 また,LSTMをベースとしたSNN内でエラーのバックプロパゲーションを行う手法を開発した。
  論文  参考訳（メタデータ） (2020-07-09T13:22:27Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。