論文の概要: Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors

• arxiv url: http://arxiv.org/abs/2104.13614v1
• Date: Wed, 28 Apr 2021 07:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 12:57:31.830395
• Title: Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors
• Title（参考訳）: 先進的特化要因の活用による継続学習における先行知識の保存
• Authors: Zhuoyun Li, Changhong Zhong, Sijia Liu, Ruixuan Wang, and Wei-Shi Zheng
• Abstract要約: 時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
• 参考スコア（独自算出の注目度）: 63.21036904487014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning of new knowledge over time is one desirable capability for intelligent systems to recognize more and more classes of objects. Without or with very limited amount of old data stored, an intelligent system often catastrophically forgets previously learned old knowledge when learning new knowledge. Recently, various approaches have been proposed to alleviate the catastrophic forgetting issue. However, old knowledge learned earlier is commonly less preserved than that learned more recently. In order to reduce the forgetting of particularly earlier learned old knowledge and improve the overall continual learning performance, we propose a simple yet effective fusion mechanism by including all the previously learned feature extractors into the intelligent model. In addition, a new feature extractor is included to the model when learning a new set of classes each time, and a feature extractor pruning is also applied to prevent the whole model size from growing rapidly. Experiments on multiple classification tasks show that the proposed approach can effectively reduce the forgetting of old knowledge, achieving state-of-the-art continual learning performance.
• Abstract（参考訳）: 時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するために望ましい能力の1つである。 非常に限られた量の古いデータが保存されていない場合、インテリジェントシステムはしばしば、新しい知識を学ぶ際に、これまで学んだ古い知識を忘れてしまう。 近年,破滅的な忘れ方問題を軽減するため,様々なアプローチが提案されている。 しかし、以前に学んだ古い知識は、最近学んだ知識よりも保存されにくい。 従来の知識の忘れを減らし,継続的な学習性能を向上させるため,これまでに学習した特徴抽出器を全てインテリジェントモデルに組み込むことで,シンプルで効果的な融合機構を提案する。 さらに、新しいクラスの集合を毎回学習する際に、モデルに新しい特徴抽出器を組み込み、また、モデル全体のサイズが急速に大きくなるのを防止するために特徴抽出器プルーニングも施す。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。

関連論文リスト

• Infinite dSprites for Disentangled Continual Learning: Separating Memory Edits from Generalization [36.23065731463065]
  Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。 この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。 生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
  論文  参考訳（メタデータ） (2023-12-27T22:05:42Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Continually Learning Self-Supervised Representations with Projected Functional Regularization [39.92600544186844]
  近年の自己教師あり学習手法は高品質な画像表現を学習でき、教師ありの手法でギャップを埋めている。 これらの手法は、新たな知識を段階的に取得することができない -- 実際、主にIDデータによる事前学習フェーズとしてのみ使用される。 従来の知識を忘れないように,機能正規化の利用を提案する。
  論文  参考訳（メタデータ） (2021-12-30T11:59:23Z)
• Discriminative Distillation to Reduce Class Confusion in Continual Learning [57.715862676788156]
  クラス混乱は、連続学習における分類性能の低下に寄与する。 本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-11T12:46:43Z)
• On Learning the Geodesic Path for Incremental Learning [38.222736913855115]
  ニューラルネットワークは、新しい知識を獲得する際に過去の知識を忘れる現象である壊滅的な忘れの問題にひどく苦しんでいます。 破滅的な忘れを克服することは「漸進的学習」の過程をエミュレートする上で重要なことである 増分学習のための最先端の技術は、壊滅的な忘れ物を防ぐための知識蒸留を利用します。
  論文  参考訳（メタデータ） (2021-04-17T15:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。