論文の概要: Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning
- arxiv url: http://arxiv.org/abs/2301.07316v1
- Date: Wed, 18 Jan 2023 05:36:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-19 16:46:04.516928
- Title: Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning
- Title(参考訳): 連続学習のための適応的統合知識蒸留と予測不確実性
- Authors: Kanghao Chen, Sijia Liu, Ruixuan Wang and Wei-Shi Zheng
- Abstract要約: 現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
- 参考スコア(独自算出の注目度): 71.43841235954453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current deep learning models often suffer from catastrophic forgetting of old
knowledge when continually learning new knowledge. Existing strategies to
alleviate this issue often fix the trade-off between keeping old knowledge
(stability) and learning new knowledge (plasticity). However, the
stability-plasticity trade-off during continual learning may need to be
dynamically changed for better model performance. In this paper, we propose two
novel ways to adaptively balance model stability and plasticity. The first one
is to adaptively integrate multiple levels of old knowledge and transfer it to
each block level in the new model. The second one uses prediction uncertainty
of old knowledge to naturally tune the importance of learning new knowledge
during model training. To our best knowledge, this is the first time to connect
model prediction uncertainty and knowledge distillation for continual learning.
In addition, this paper applies a modified CutMix particularly to augment the
data for old knowledge, further alleviating the catastrophic forgetting issue.
Extensive evaluations on the CIFAR100 and the ImageNet datasets confirmed the
effectiveness of the proposed method for continual learning.
- Abstract(参考訳): 現在のディープラーニングモデルは、新しい知識を継続的に学習する場合、古い知識を破滅的に忘れてしまうことが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)と新しい知識(可塑性)のトレードオフをしばしば解決します。
しかしながら、継続的な学習における安定性と可塑性のトレードオフは、モデルパフォーマンスを改善するために動的に変更する必要がある。
本稿では,モデルの安定性と塑性を適応的にバランスさせる2つの新しい手法を提案する。
1つ目は、複数の古い知識を適応的に統合し、それを新しいモデルの各ブロックレベルに転送することである。
2つ目は、モデルトレーニング中に新しい知識を学ぶことの重要性を自然に調整するために、古い知識の予測の不確実性を利用する。
我々の知る限り、モデル予測の不確かさと知識蒸留を連続学習に結びつけるのはこれが初めてである。
さらに,特に古い知識のデータを補うために改良されたカットミックスを適用し,破滅的な忘れ方問題をさらに緩和する。
CIFAR100とImageNetデータセットの大規模評価により,提案手法の有効性が確認された。
関連論文リスト
- Forgetting before Learning: Utilizing Parametric Arithmetic for
Knowledge Updating in Large Language Models [53.52344131257681]
本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。
2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
論文 参考訳(メタデータ) (2023-11-14T09:12:40Z) - Overcoming Generic Knowledge Loss with Selective Parameter Update [52.69948146218189]
基礎モデルを継続的に更新する新しい手法を提案する。
すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。
提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
論文 参考訳(メタデータ) (2023-08-23T22:55:45Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2023-05-09T05:04:35Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-16T11:52:00Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳(メタデータ) (2022-04-28T08:41:51Z) - Addressing the Stability-Plasticity Dilemma via Knowledge-Aware
Continual Learning [5.979373021392084]
既存の知識を意識することは,(1)類似知識からの転送量の増加,(2)既存の知識を活用して必要な能力の削減,(4)シーケンス内のクラスオーダーに対するロバスト性の向上などに役立つことを示す。
本研究は,CIFAR-10とCIFAR-100という2つのクラス増分学習用ベンチマークから構築した類似タスクのシーケンス,異種タスク,および両者の混合について評価する。
論文 参考訳(メタデータ) (2021-10-11T14:51:56Z) - Preserving Earlier Knowledge in Continual Learning with the Help of All
Previous Feature Extractors [63.21036904487014]
時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。
これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。
複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
論文 参考訳(メタデータ) (2021-04-28T07:49:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。