論文の概要: Balancing Stability and Plasticity through Advanced Null Space in Continual Learning

• arxiv url: http://arxiv.org/abs/2207.12061v1
• Date: Mon, 25 Jul 2022 11:04:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 13:40:53.869257
• Title: Balancing Stability and Plasticity through Advanced Null Space in Continual Learning
• Title（参考訳）: 連続学習における高度核空間による安定性と塑性のバランス
• Authors: Yajing Kong, Liu Liu, Zhen Wang, Dacheng Tao
• Abstract要約: 我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 77.94570903726856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning is a learning paradigm that learns tasks sequentially with resources constraints, in which the key challenge is stability-plasticity dilemma, i.e., it is uneasy to simultaneously have the stability to prevent catastrophic forgetting of old tasks and the plasticity to learn new tasks well. In this paper, we propose a new continual learning approach, Advanced Null Space (AdNS), to balance the stability and plasticity without storing any old data of previous tasks. Specifically, to obtain better stability, AdNS makes use of low-rank approximation to obtain a novel null space and projects the gradient onto the null space to prevent the interference on the past tasks. To control the generation of the null space, we introduce a non-uniform constraint strength to further reduce forgetting. Furthermore, we present a simple but effective method, intra-task distillation, to improve the performance of the current task. Finally, we theoretically find that null space plays a key role in plasticity and stability, respectively. Experimental results show that the proposed method can achieve better performance compared to state-of-the-art continual learning approaches.
• Abstract（参考訳）: 継続的学習(continual learning)は、リソース制約によってタスクを逐次学習する学習パラダイムであり、安定性と可塑性ジレンマが鍵となる課題である。 本稿では,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 具体的には、安定性を向上させるために、AdNSは、新しいヌル空間を得るために低ランク近似を使用し、過去のタスクの干渉を防ぐためにヌル空間に勾配を投影する。 ヌル空間の生成を制御するため,非一様制約強度を導入し,忘れの低減を図る。 さらに,現在のタスクの性能向上を図るため,単純だが効果的なタスク内蒸留法を提案する。 最後に、理論上、ヌル空間は可塑性と安定性においてそれぞれ重要な役割を果たす。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。

関連論文リスト

• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
  自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。 これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。 本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
  論文  参考訳（メタデータ） (2024-03-27T05:38:48Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Learning a Low-Rank Feature Representation: Achieving Better Trade-Off between Stability and Plasticity in Continual Learning [20.15493383736196]
  連続学習では、ネットワークは一連のタスクでトレーニングされた場合、安定性と可塑性の間のトレードオフに直面します。 そこで我々は, LRFRと呼ばれる新しいトレーニングアルゴリズムを提案し, 安定性を犠牲にすることなく, 可塑性を増強する。 CIFAR-100とTinyImageNetを連続学習のベンチマークデータセットとして使用することにより、提案手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-12-14T08:34:11Z)
• Keep Moving: identifying task-relevant subspaces to maximise plasticity for newly learned tasks [0.22499166814992438]
  継続学習アルゴリズムは、事前情報を保持しながら、新しい知識を獲得しようとする。 これらのアルゴリズムは、しばしば安定性を強調し、新しいタスクを学習する際のネットワーク更新を制限する。 しかし、すべては有害か? 本稿では,ニューラルネットワークの活性化空間を2つの部分空間に分解できることを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:54:43Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
  クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。 本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-04-04T09:34:14Z)
• Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
  本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
  論文  参考訳（メタデータ） (2023-03-16T17:00:42Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
  塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。 本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-15T07:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。