論文の概要: Self-distilled Knowledge Delegator for Exemplar-free Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2205.11071v1
• Date: Mon, 23 May 2022 06:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 18:11:39.171681
• Title: Self-distilled Knowledge Delegator for Exemplar-free Class Incremental Learning
• Title（参考訳）: 初等中等学習のための自己蒸留型知識記述器
• Authors: Fanfan Ye, Liang Ma, Qiaoyong Zhong, Di Xie, Shiliang Pu
• Abstract要約: 我々は,従来訓練されていた分類モデルに符号化された知識を活用し,連続学習における破滅的な忘れの問題に対処する。 具体的には,情報的サンプルを生成することによって,訓練されたモデルからランダムに再生成された新しいモデルに知識を伝達できる知識デリゲータを提案する。 この単純なインクリメンタル学習フレームワークは、広く使われている4つのクラスインクリメンタルベンチマークにおいて、既存の例のないメソッドをはるかに上回っている。
• 参考スコア（独自算出の注目度）: 39.69318045176051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exemplar-free incremental learning is extremely challenging due to inaccessibility of data from old tasks. In this paper, we attempt to exploit the knowledge encoded in a previously trained classification model to handle the catastrophic forgetting problem in continual learning. Specifically, we introduce a so-called knowledge delegator, which is capable of transferring knowledge from the trained model to a randomly re-initialized new model by generating informative samples. Given the previous model only, the delegator is effectively learned using a self-distillation mechanism in a data-free manner. The knowledge extracted by the delegator is then utilized to maintain the performance of the model on old tasks in incremental learning. This simple incremental learning framework surpasses existing exemplar-free methods by a large margin on four widely used class incremental benchmarks, namely CIFAR-100, ImageNet-Subset, Caltech-101 and Flowers-102. Notably, we achieve comparable performance to some exemplar-based methods without accessing any exemplars.
• Abstract（参考訳）: exemplar-freeインクリメンタル学習は、古いタスクからのデータにアクセスできないため、非常に難しい。 本稿では,事前訓練された分類モデルにエンコードされた知識を活用し,継続学習における破滅的な忘れ方問題に対処することを試みる。 具体的には,学習モデルから知識をランダムに再起動する新しいモデルに伝達し,情報的サンプルを生成する,いわゆるナレッジデリゲータを導入する。 従来のモデルのみを考えると、デグレゲータはデータフリーで自己蒸留機構を用いて効果的に学習される。 デリゲータによって抽出された知識は、インクリメンタル学習において、古いタスクにおけるモデルの性能を維持するために利用される。 この単純なインクリメンタル学習フレームワークは、cifar-100、imagenet-subset、caltech-101、flowers-102という4つの広く使われているクラスインクリメンタルベンチマークにおいて、既存のexemplar-freeメソッドを大きく上回っている。 特筆すべきは、一部の例に匹敵する性能を、例に照らさずに達成することである。

関連論文リスト

• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
  クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。 本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2023-05-09T05:04:35Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Cognitively-Inspired Model for Incremental Learning Using a Few Examples [11.193504036335503]
  増分学習は、異なるクラスに分離されたデータのストリームから連続的に学習する分類器の開発を試みる。 ディープラーニングアプローチは、クラスを漸進的に学習する際の破滅的な忘れ込みに悩まされる一方、ほとんどのインクリメンタル学習アプローチは、クラス毎に大量のトレーニングデータを必要とします。 本研究では,海馬と新皮質の概念学習モデルから着想を得た新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。