論文の概要: Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector
- arxiv url: http://arxiv.org/abs/2110.07905v1
- Date: Fri, 15 Oct 2021 07:37:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 12:33:47.278447
- Title: Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector
- Title(参考訳): インクリメンタル学習における可塑性安定性トレードオフの改善に向けて--単純なリニアコネクター
- Authors: Guoliang Lin, Hanglu Chu, Hanjiang Lai
- Abstract要約: 塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。
本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
- 参考スコア(独自算出の注目度): 8.13916229438606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Plasticity-stability dilemma is a main problem for incremental learning, with
plasticity referring to the ability to learn new knowledge, and stability
retaining the knowledge of previous tasks. Due to the lack of training samples
from previous tasks, it is hard to balance the plasticity and stability. For
example, the recent null-space projection methods (e.g., Adam-NSCL) have shown
promising performance on preserving previous knowledge, while such strong
projection also causes the performance degradation of the current task. To
achieve better plasticity-stability trade-off, in this paper, we show that a
simple averaging of two independently optimized optima of networks, null-space
projection for past tasks and simple SGD for the current task, can attain a
meaningful balance between preserving already learned knowledge and granting
sufficient flexibility for learning a new task. This simple linear connector
also provides us a new perspective and technology to control the trade-off
between plasticity and stability. We evaluate the proposed method on several
benchmark datasets. The results indicate our simple method can achieve notable
improvement, and perform well on both the past and current tasks. In short, our
method is an extremely simple approach and achieves a better balance model.
- Abstract(参考訳): 塑性安定性ジレンマは漸進的な学習の主要な問題であり、塑性は新しい知識を学ぶ能力を指し、安定性は以前のタスクの知識を保持する。
以前の作業からのトレーニングサンプルが不足しているため、可塑性と安定性のバランスをとるのは難しい。
例えば、最近のヌル空間射影法(例えばadam-nscl)は、以前の知識を保存する際に有望な性能を示す一方で、このような強い射影は現在のタスクのパフォーマンス低下を引き起こす。
そこで本研究では,2つの最適化されたネットワークのオプティマ,過去のタスクに対するヌル空間投影,現在のタスクに対する単純なsgdの簡易な平均化により,学習済みの知識の保存と新しいタスクの学習に十分な柔軟性の確保との間に有意義なバランスが得られることを示す。
この単純なリニアコネクタは、塑性と安定性のトレードオフを制御するための新しい視点と技術を提供します。
提案手法を複数のベンチマークデータセット上で評価する。
その結果,これまでの作業と現在の作業の両方において,簡単な方法が顕著な改善を達成できることがわかった。
要するに,本手法は極めて単純な手法であり,より良いバランスモデルを実現する。
関連論文リスト
- Elastic Feature Consolidation for Cold Start Exemplar-free Incremental
Learning [19.113777309056022]
本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。
EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。
CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
論文 参考訳(メタデータ) (2024-02-06T11:35:02Z) - Towards Plastic and Stable Exemplar-Free Incremental Learning: A
Dual-Learner Framework with Cumulative Parameter Averaging [13.293105226880616]
In this proposed a Dual-Learner framework with Cumulative。
平均化(DLCPA)
DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-28T08:48:44Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。
本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文 参考訳(メタデータ) (2023-04-04T09:34:14Z) - Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks
in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。
ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。
より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文 参考訳(メタデータ) (2023-03-16T17:00:42Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-16T11:52:00Z) - Balancing Stability and Plasticity through Advanced Null Space in
Continual Learning [77.94570903726856]
我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。
また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。
実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2022-07-25T11:04:22Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳(メタデータ) (2021-09-14T17:12:20Z) - Efficient Empowerment Estimation for Unsupervised Stabilization [75.32013242448151]
エンパワーメント原理は 直立位置での 力学系の教師なし安定化を可能にする
本稿では,ガウスチャネルとして動的システムのトレーニング可能な表現に基づく代替解を提案する。
提案手法は, サンプルの複雑さが低く, 訓練時より安定であり, エンパワーメント機能の本質的特性を有し, 画像からエンパワーメントを推定できることを示す。
論文 参考訳(メタデータ) (2020-07-14T21:10:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。