論文の概要: Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning
- arxiv url: http://arxiv.org/abs/2404.00781v1
- Date: Sun, 31 Mar 2024 19:57:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 01:51:24.306045
- Title: Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning
- Title(参考訳): 連続学習における塑性の喪失と破滅的予測
- Authors: Mohamed Elsayed, A. Rupam Mahmood,
- Abstract要約: 本稿では,表現の連続学習のための新しいアプローチとして,実用性に基づく摂動勾配Descent (UPGD)を紹介した。
UPGDは勾配更新と摂動を組み合わせることで、より有用なユニットにより小さな修正を適用する。
既存の手法の多くは少なくとも1つの問題に悩まされており、その主な原因はタスクの精度の低下である。
- 参考スコア(独自算出の注目度): 5.067473362927125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep representation learning methods struggle with continual learning, suffering from both catastrophic forgetting of useful units and loss of plasticity, often due to rigid and unuseful units. While many methods address these two issues separately, only a few currently deal with both simultaneously. In this paper, we introduce Utility-based Perturbed Gradient Descent (UPGD) as a novel approach for the continual learning of representations. UPGD combines gradient updates with perturbations, where it applies smaller modifications to more useful units, protecting them from forgetting, and larger modifications to less useful units, rejuvenating their plasticity. We use a challenging streaming learning setup where continual learning problems have hundreds of non-stationarities and unknown task boundaries. We show that many existing methods suffer from at least one of the issues, predominantly manifested by their decreasing accuracy over tasks. On the other hand, UPGD continues to improve performance and surpasses or is competitive with all methods in all problems. Finally, in extended reinforcement learning experiments with PPO, we show that while Adam exhibits a performance drop after initial learning, UPGD avoids it by addressing both continual learning issues.
- Abstract(参考訳): 深層表現学習法は、有用な単位の破滅的な忘れと可塑性の喪失に苦しむ連続学習に苦しむ。
多くのメソッドがこれら2つの問題に別々に対処するが、現在、両方を同時に扱うのはわずかである。
本稿では,表現の連続的学習のための新しいアプローチとして,実用性に基づく摂動学習(UPGD)を紹介する。
UPGDは勾配の更新と摂動を組み合わせることで、より有用なユニットに小さな修正を加え、忘れないようにし、あまり役に立たないユニットにより大きな修正を加え、可塑性を回復させる。
連続的な学習問題には数百の非定常性と未知のタスク境界がある。
既存の手法の多くは少なくとも1つの問題に悩まされており、その主な原因はタスクの精度の低下である。
一方、UPGDはパフォーマンスを改善し続け、あらゆる問題において全てのメソッドに勝っているか、競合している。
最後に,PPOを用いた強化学習実験において,Adamは初等学習後に性能低下を示すが,UPGDは2つの連続学習問題に対処することで回避することを示した。
関連論文リスト
- ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。
ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。
我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
論文 参考訳(メタデータ) (2024-03-29T11:31:12Z) - Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with
Positive Forward Transfer [23.15037781851394]
MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。
MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。
本稿では,タスク間の干渉を最小限に抑えるために,残空間への即時勾配を投影するプロンプトベースのFwd-Promptを提案する。
論文 参考訳(メタデータ) (2024-01-17T12:44:17Z) - Infinite dSprites for Disentangled Continual Learning: Separating Memory
Edits from Generalization [48.765079793320346]
Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。
この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。
生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
論文 参考訳(メタデータ) (2023-12-27T22:05:42Z) - Maintaining Plasticity in Deep Continual Learning [12.27972591521307]
連続学習のためのデータセットをタスクのシーケンスとして利用して,可塑性損失の実証を行う。
ImageNetでは、バイナリ分類のパフォーマンスは、初期タスクで89%の精度から77%に低下した。
新しいアルゴリズム -- 連続的なバックプロパゲーション -- は、従来のバックプロパゲーションを変更して、各例の後で、あまり使われていないユニットを再使用する。
論文 参考訳(メタデータ) (2023-06-23T23:19:21Z) - Utility-based Perturbed Gradient Descent: An Optimizer for Continual
Learning [2.398608007786179]
Perturbed Gradient Descent (UPGD)は、連続学習エージェントに適したオンライン学習アルゴリズムである。
UPGDは有用重量や特徴を忘れることから保護する。
実験の結果,UPGDは可塑性の低減と維持に有効であり,近代的な表現学習手法が連続学習において効果的に機能できることが示唆された。
論文 参考訳(メタデータ) (2023-02-07T06:14:48Z) - Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文 参考訳(メタデータ) (2023-01-03T10:37:11Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳(メタデータ) (2022-12-09T13:22:27Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳(メタデータ) (2022-11-18T02:00:17Z) - Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。
VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
論文 参考訳(メタデータ) (2021-07-27T16:39:45Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳(メタデータ) (2021-01-15T15:12:51Z) - Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。
本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。
ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文 参考訳(メタデータ) (2020-07-23T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。