Fugu-MT 論文翻訳(概要): Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning

論文の概要: Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning

arxiv url: http://arxiv.org/abs/2404.00781v1
Date: Sun, 31 Mar 2024 19:57:38 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 01:51:24.306045
Title: Addressing Loss of Plasticity and Catastrophic Forgetting in Continual Learning
Title（参考訳）: 連続学習における塑性の喪失と破滅的予測
Authors: Mohamed Elsayed, A. Rupam Mahmood,
Abstract要約: 本稿では,表現の連続学習のための新しいアプローチとして,実用性に基づく摂動勾配Descent (UPGD)を紹介した。 UPGDは勾配更新と摂動を組み合わせることで、より有用なユニットにより小さな修正を適用する。既存の手法の多くは少なくとも1つの問題に悩まされており、その主な原因はタスクの精度の低下である。
参考スコア（独自算出の注目度）: 5.067473362927125
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep representation learning methods struggle with continual learning, suffering from both catastrophic forgetting of useful units and loss of plasticity, often due to rigid and unuseful units. While many methods address these two issues separately, only a few currently deal with both simultaneously. In this paper, we introduce Utility-based Perturbed Gradient Descent (UPGD) as a novel approach for the continual learning of representations. UPGD combines gradient updates with perturbations, where it applies smaller modifications to more useful units, protecting them from forgetting, and larger modifications to less useful units, rejuvenating their plasticity. We use a challenging streaming learning setup where continual learning problems have hundreds of non-stationarities and unknown task boundaries. We show that many existing methods suffer from at least one of the issues, predominantly manifested by their decreasing accuracy over tasks. On the other hand, UPGD continues to improve performance and surpasses or is competitive with all methods in all problems. Finally, in extended reinforcement learning experiments with PPO, we show that while Adam exhibits a performance drop after initial learning, UPGD avoids it by addressing both continual learning issues.
Abstract（参考訳）: 深層表現学習法は、有用な単位の破滅的な忘れと可塑性の喪失に苦しむ連続学習に苦しむ。多くのメソッドがこれら2つの問題に別々に対処するが、現在、両方を同時に扱うのはわずかである。本稿では,表現の連続的学習のための新しいアプローチとして,実用性に基づく摂動学習(UPGD)を紹介する。 UPGDは勾配の更新と摂動を組み合わせることで、より有用なユニットに小さな修正を加え、忘れないようにし、あまり役に立たないユニットにより大きな修正を加え、可塑性を回復させる。連続的な学習問題には数百の非定常性と未知のタスク境界がある。既存の手法の多くは少なくとも1つの問題に悩まされており、その主な原因はタスクの精度の低下である。一方、UPGDはパフォーマンスを改善し続け、あらゆる問題において全てのメソッドに勝っているか、競合している。最後に,PPOを用いた強化学習実験において,Adamは初等学習後に性能低下を示すが,UPGDは2つの連続学習問題に対処することで回避することを示した。

関連論文リスト

Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文参考訳（メタデータ） (2024-10-10T10:58:41Z)
CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
論文参考訳（メタデータ） (2024-10-08T02:23:16Z)
Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
論文参考訳（メタデータ） (2024-09-04T08:21:47Z)
A Study of Plasticity Loss in On-Policy Deep Reinforcement Learning [7.767611890997147]
本研究は, 都市深部RLのドメインシフトにより, 可塑性損失が広まることを示す。再生方法のクラスは, 様々な文脈において, 可塑性損失を連続的に軽減できることがわかった。
論文参考訳（メタデータ） (2024-05-29T14:59:49Z)
Maintaining Plasticity in Deep Continual Learning [12.27972591521307]
連続学習のためのデータセットをタスクのシーケンスとして利用して,可塑性損失の実証を行う。 ImageNetでは、バイナリ分類のパフォーマンスは、初期タスクで89%の精度から77%に低下した。新しいアルゴリズム -- 連続的なバックプロパゲーション -- は、従来のバックプロパゲーションを変更して、各例の後で、あまり使われていないユニットを再使用する。
論文参考訳（メタデータ） (2023-06-23T23:19:21Z)
Utility-based Perturbed Gradient Descent: An Optimizer for Continual Learning [2.398608007786179]
Perturbed Gradient Descent (UPGD)は、連続学習エージェントに適したオンライン学習アルゴリズムである。 UPGDは有用重量や特徴を忘れることから保護する。実験の結果,UPGDは可塑性の低減と維持に有効であり,近代的な表現学習手法が連続学習において効果的に機能できることが示唆された。
論文参考訳（メタデータ） (2023-02-07T06:14:48Z)
Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文参考訳（メタデータ） (2023-01-03T10:37:11Z)
PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文参考訳（メタデータ） (2022-12-09T13:22:27Z)
Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文参考訳（メタデータ） (2022-11-18T02:00:17Z)
Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文参考訳（メタデータ） (2021-01-15T15:12:51Z)
Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。