論文の概要: Balancing Stability and Plasticity through Advanced Null Space in
Continual Learning
- arxiv url: http://arxiv.org/abs/2207.12061v1
- Date: Mon, 25 Jul 2022 11:04:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 13:40:53.869257
- Title: Balancing Stability and Plasticity through Advanced Null Space in
Continual Learning
- Title(参考訳): 連続学習における高度核空間による安定性と塑性のバランス
- Authors: Yajing Kong, Liu Liu, Zhen Wang, Dacheng Tao
- Abstract要約: 我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。
また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。
実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
- 参考スコア(独自算出の注目度): 77.94570903726856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning is a learning paradigm that learns tasks sequentially with
resources constraints, in which the key challenge is stability-plasticity
dilemma, i.e., it is uneasy to simultaneously have the stability to prevent
catastrophic forgetting of old tasks and the plasticity to learn new tasks
well. In this paper, we propose a new continual learning approach, Advanced
Null Space (AdNS), to balance the stability and plasticity without storing any
old data of previous tasks. Specifically, to obtain better stability, AdNS
makes use of low-rank approximation to obtain a novel null space and projects
the gradient onto the null space to prevent the interference on the past tasks.
To control the generation of the null space, we introduce a non-uniform
constraint strength to further reduce forgetting. Furthermore, we present a
simple but effective method, intra-task distillation, to improve the
performance of the current task. Finally, we theoretically find that null space
plays a key role in plasticity and stability, respectively. Experimental
results show that the proposed method can achieve better performance compared
to state-of-the-art continual learning approaches.
- Abstract(参考訳): 継続的学習(continual learning)は、リソース制約によってタスクを逐次学習する学習パラダイムであり、安定性と可塑性ジレンマが鍵となる課題である。
本稿では,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。
具体的には、安定性を向上させるために、AdNSは、新しいヌル空間を得るために低ランク近似を使用し、過去のタスクの干渉を防ぐためにヌル空間に勾配を投影する。
ヌル空間の生成を制御するため,非一様制約強度を導入し,忘れの低減を図る。
さらに,現在のタスクの性能向上を図るため,単純だが効果的なタスク内蒸留法を提案する。
最後に、理論上、ヌル空間は可塑性と安定性においてそれぞれ重要な役割を果たす。
実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
関連論文リスト
- Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - Learning a Low-Rank Feature Representation: Achieving Better Trade-Off
between Stability and Plasticity in Continual Learning [20.15493383736196]
連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。
そこで我々は, LRFRと呼ばれる新しいトレーニングアルゴリズムを提案し, 安定性を犠牲にすることなく, 可塑性を増強する。
CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。
論文 参考訳(メタデータ) (2023-12-14T08:34:11Z) - Keep Moving: identifying task-relevant subspaces to maximise plasticity
for newly learned tasks [0.0]
継続学習アルゴリズムは、事前情報を保持しながら、新しい知識を獲得しようとする。
これらのアルゴリズムは、しばしば安定性を強調し、新しいタスクを学習する際のネットワーク更新を制限する。
多くの場合、そのような制約はモデルの可塑性、すなわち新しいタスクの要求に適応するモデルの能力にコストがかかる。
論文 参考訳(メタデータ) (2023-10-07T08:54:43Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文 参考訳(メタデータ) (2023-04-04T09:34:14Z) - Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks
in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。
ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。
より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文 参考訳(メタデータ) (2023-03-16T17:00:42Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-16T11:52:00Z) - PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning [49.0417577439298]
過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。
そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。
論文 参考訳(メタデータ) (2022-09-14T12:53:00Z) - Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector [8.13916229438606]
塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。
本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
論文 参考訳(メタデータ) (2021-10-15T07:37:20Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。