論文の概要: Not Just After One: Sleep-Inspired Replay Prevents Catastrophic Forgetting After Sequential Tasks

• arxiv url: http://arxiv.org/abs/2606.08447v1
• Date: Sun, 07 Jun 2026 04:27:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.112188
• Title: Not Just After One: Sleep-Inspired Replay Prevents Catastrophic Forgetting After Sequential Tasks
• Title（参考訳）: 睡眠にインスパイアされたリプレイは、シークエンス作業の後に破滅的な失敗を防げる
• Authors: Anthony Bazhenov, Jean Erik Delanois, Giri P. Krishnan,
• Abstract要約: 人間や動物は継続的に学習し、アクティブな学習中に複数の新しい記憶を取得し、それらを長期記憶にまとめる。 さらに本研究では,ネットワークが新たなタスクでトレーニングされるにつれて,タスク固有の情報が新たなトレーニングに対して回復力を持つ一方で,徐々に崩壊していくことを示唆している。
• 参考スコア（独自算出の注目度）: 4.951247283741297
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: One of the critical limitations of artificial neural networks is their lack of ability to continually learn: training on new tasks often leads to interference and forgetting of the previous ones. While several algorithms have been proposed to protect old memories from interference, they are typically applied during or immediately after each new episode of training. In contrast, humans and animals can learn continuously, acquiring multiple new memories during active learning before consolidating all of them into long-term storage. Here we show that multiple new tasks can be trained sequentially before an unsupervised sleep-like replay phase is applied to partially restore performance across all previously learned tasks. Our study further suggests that task-specific information remains resilient to new training but decays gradually as network is trained on new tasks. These findings point to novel principles for developing a broad range of continual learning AI solutions.
• Abstract（参考訳）: 人工知能の重要な制限の1つは、継続的に学習する能力の欠如である。 古い記憶を干渉から守るためにいくつかのアルゴリズムが提案されているが、それらは通常、新しいトレーニングの各エピソード中または直後に適用される。 対照的に、人間と動物は継続的に学習し、アクティブな学習中に複数の新しい記憶を取得し、それらすべてを長期記憶にまとめる。 ここでは、教師なし睡眠のような再生フェーズが適用される前に、複数の新しいタスクを逐次訓練して、以前に学習したすべてのタスクのパフォーマンスを部分的に復元できることを示す。 さらに本研究では,ネットワークが新たなタスクでトレーニングされるにつれて,タスク固有の情報が新たなトレーニングに対して回復力を持つ一方で,徐々に崩壊していくことを示唆している。 これらの発見は、広範囲の継続的な学習AIソリューションを開発するための新しい原則を示している。

関連論文リスト

• Keep Rehearsing and Refining: Lifelong Learning Vehicle Routing under Continually Drifting Tasks [8.939294630058729]
  本研究では,学習時間ステップよりも連続的なドリフトタスクの下で,ニューラルVRPソルバのための新しい生涯学習パラダイムについて検討する。 本稿では、学習効率の向上と、そのようなドリフト下での破滅的な忘れを軽減するための一般的なフレームワークであるDREE(Dual Replay with Experience Enhancement)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T03:37:39Z)
• Unsupervised Replay Strategies for Continual Learning with Limited Data [1.0687104237121408]
  限られたデータで訓練したモデルにおいて、睡眠相の導入により精度が大幅に向上したことを示す。 数回のタスクが連続的にトレーニングされたとき、新しいタスクトレーニングの後、悲惨なほど忘れていた学習情報を、スリープ再生が救われた。 本研究は,ANNにおける学習効率の向上と継続学習の促進における睡眠再生の多面的役割を強調した。
  論文  参考訳（メタデータ） (2024-10-21T16:21:09Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
  先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。 本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-09-09T13:45:27Z)
• Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
  破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。 我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。 我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
  論文  参考訳（メタデータ） (2022-05-04T08:00:49Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks [0.0]
  人工ニューラルネットワークを用いた分類における潜在空間ベースのメモリリプレイの適用について検討する。 圧縮された潜在空間バージョンに、元のデータのごく一部だけを格納することで、従来のタスクの優れたパフォーマンスを維持できる。
  論文  参考訳（メタデータ） (2021-11-26T02:47:51Z)
• Beneficial Perturbation Network for designing general adaptive artificial intelligence systems [14.226973149346886]
  我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。 我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-09-27T01:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。