論文の概要: Experience Replay Addresses Loss of Plasticity in Continual Learning

• arxiv url: http://arxiv.org/abs/2503.20018v1
• Date: Tue, 25 Mar 2025 19:01:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:22:29.564319
• Title: Experience Replay Addresses Loss of Plasticity in Continual Learning
• Title（参考訳）: 継続的な学習における塑性の喪失に関する経験的リプレイ
• Authors: Jiuqi Wang, Rohan Chandra, Shangtong Zhang,
• Abstract要約: 可塑性の喪失は、ディープニューラルネットワークによる継続的な学習における大きな課題の1つだ。 本稿では,連続学習における可塑性の喪失に対処する経験的リプレイの仮説を提案する。
• 参考スコア（独自算出の注目度）: 19.299731724455718
• License:
• Abstract: Loss of plasticity is one of the main challenges in continual learning with deep neural networks, where neural networks trained via backpropagation gradually lose their ability to adapt to new tasks and perform significantly worse than their freshly initialized counterparts. The main contribution of this paper is to propose a new hypothesis that experience replay addresses the loss of plasticity in continual learning. Here, experience replay is a form of memory. We provide supporting evidence for this hypothesis. In particular, we demonstrate in multiple different tasks, including regression, classification, and policy evaluation, that by simply adding an experience replay and processing the data in the experience replay with Transformers, the loss of plasticity disappears. Notably, we do not alter any standard components of deep learning. For example, we do not change backpropagation. We do not modify the activation functions. And we do not use any regularization. We conjecture that experience replay and Transformers can address the loss of plasticity because of the in-context learning phenomenon.
• Abstract（参考訳）: バックプロパゲーションによってトレーニングされたニューラルネットワークは、新たなタスクに適応する能力を失い、新たに初期化されたタスクよりも大幅に低下する。 本研究の主な貢献は,連続学習における可塑性の喪失に対処する経験的リプレイの仮説を提案することである。 ここでは、エクスペリエンスのリプレイは記憶の一形態です。 この仮説を支持する証拠を提供する。 特に, 回帰, 分類, 政策評価など, 多種多様なタスクにおいて, 経験リプレイやデータ処理をTransformersで行うことで, 可塑性の喪失がなくなることを実証する。 特に、ディープラーニングの標準コンポーネントは変更していません。 例えば、バックプロパゲーションは変更しません。 アクティベーション関数は変更しません。 正規化も一切使用していません。 我々は、文脈内学習現象により、経験リプレイやトランスフォーマーが可塑性の喪失に対処できると推測する。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Revisiting Plasticity in Visual Reinforcement Learning: Data, Modules and Training Stages [56.98243487769916]
  ニューラルネットワークが新しいデータで進化する能力である塑性は、高性能でサンプル効率のよい視覚強化学習に不可欠である。 本稿では,批評家の可塑性レベルに基づいてリプレイ率を動的に調整するAdaptive RRを提案する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:34Z)
• Adiabatic replay for continual learning [138.7878582237908]
  生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。 我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。 VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-23T10:18:06Z)
• Loss of Plasticity in Continual Deep Reinforcement Learning [14.475963928766134]
  ディープRLエージェントは,Atari 2600の一連のゲームで,優れたポリシーを学習する能力を失っていることを実証する。 我々はこの現象を大規模に研究し、時間とともに重み、勾配、活性化がどのように変化するかを分析する。 解析の結果,ネットワークの活性化フットプリントがスペーサーとなり,勾配が減少することがわかった。
  論文  参考訳（メタデータ） (2023-03-13T22:37:15Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Replay in Deep Learning: Current Approaches and Missing Biological Elements [33.20770284464084]
  リプレイは1つ以上の神経パターンの再活性化である。 記憶形成、検索、統合において重要な役割を果たしていると考えられている。 哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
  論文  参考訳（メタデータ） (2021-04-01T15:19:08Z)
• Revisiting Fundamentals of Experience Replay [91.24213515992595]
  本稿では,Q-ラーニング手法における経験リプレイの体系的および広範囲な分析について述べる。 我々は、リプレイ能力と、収集した経験に対する学習更新率の2つの基本特性に焦点を当てた。
  論文  参考訳（メタデータ） (2020-07-13T21:22:17Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。