論文の概要: Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning

• arxiv url: http://arxiv.org/abs/2301.07316v1
• Date: Wed, 18 Jan 2023 05:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-19 16:46:04.516928
• Title: Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning
• Title（参考訳）: 連続学習のための適応的統合知識蒸留と予測不確実性
• Authors: Kanghao Chen, Sijia Liu, Ruixuan Wang and Wei-Shi Zheng
• Abstract要約: 現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
• 参考スコア（独自算出の注目度）: 71.43841235954453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current deep learning models often suffer from catastrophic forgetting of old knowledge when continually learning new knowledge. Existing strategies to alleviate this issue often fix the trade-off between keeping old knowledge (stability) and learning new knowledge (plasticity). However, the stability-plasticity trade-off during continual learning may need to be dynamically changed for better model performance. In this paper, we propose two novel ways to adaptively balance model stability and plasticity. The first one is to adaptively integrate multiple levels of old knowledge and transfer it to each block level in the new model. The second one uses prediction uncertainty of old knowledge to naturally tune the importance of learning new knowledge during model training. To our best knowledge, this is the first time to connect model prediction uncertainty and knowledge distillation for continual learning. In addition, this paper applies a modified CutMix particularly to augment the data for old knowledge, further alleviating the catastrophic forgetting issue. Extensive evaluations on the CIFAR100 and the ImageNet datasets confirmed the effectiveness of the proposed method for continual learning.
• Abstract（参考訳）: 現在のディープラーニングモデルは、新しい知識を継続的に学習する場合、古い知識を破滅的に忘れてしまうことが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)と新しい知識(可塑性)のトレードオフをしばしば解決します。 しかしながら、継続的な学習における安定性と可塑性のトレードオフは、モデルパフォーマンスを改善するために動的に変更する必要がある。 本稿では,モデルの安定性と塑性を適応的にバランスさせる2つの新しい手法を提案する。 1つ目は、複数の古い知識を適応的に統合し、それを新しいモデルの各ブロックレベルに転送することである。 2つ目は、モデルトレーニング中に新しい知識を学ぶことの重要性を自然に調整するために、古い知識の予測の不確実性を利用する。 我々の知る限り、モデル予測の不確かさと知識蒸留を連続学習に結びつけるのはこれが初めてである。 さらに,特に古い知識のデータを補うために改良されたカットミックスを適用し,破滅的な忘れ方問題をさらに緩和する。 CIFAR100とImageNetデータセットの大規模評価により,提案手法の有効性が確認された。

関連論文リスト

• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner [41.462673126500974]
  インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための新しい意思決定境界対応蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:49:51Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
  クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。 本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2023-05-09T05:04:35Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Addressing the Stability-Plasticity Dilemma via Knowledge-Aware Continual Learning [5.979373021392084]
  既存の知識を意識することは,(1)類似知識からの転送量の増加,(2)既存の知識を活用して必要な能力の削減,(4)シーケンス内のクラスオーダーに対するロバスト性の向上などに役立つことを示す。 本研究は,CIFAR-10とCIFAR-100という2つのクラス増分学習用ベンチマークから構築した類似タスクのシーケンス,異種タスク,および両者の混合について評価する。
  論文  参考訳（メタデータ） (2021-10-11T14:51:56Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。