論文の概要: Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay
- arxiv url: http://arxiv.org/abs/2106.09835v1
- Date: Thu, 17 Jun 2021 22:13:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-21 14:11:59.167645
- Title: Dual-Teacher Class-Incremental Learning With Data-Free Generative Replay
- Title（参考訳）: データフリー・ジェネレーション・リプレイによるDual-Teacher Class-Incremental Learning
- Authors: Yoojin Choi, Mostafa El-Khamy, Jungwon Lee
- Abstract要約: クラスインクリメンタルラーニング(CIL)のための2つの新しい知識伝達手法を提案する。
まず,データフリーな生成リプレイ(DF-GR)を提案し,生成モデルからの合成サンプルを用いてCILの破滅的忘れを緩和する。
第2に,2人の教師から1人の生徒に知識蒸留を行うための2つの教員情報蒸留(DT-ID)を導入する。
- 参考スコア（独自算出の注目度）: 49.691610143011566
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes two novel knowledge transfer techniques for
class-incremental learning (CIL). First, we propose data-free generative replay
(DF-GR) to mitigate catastrophic forgetting in CIL by using synthetic samples
from a generative model. In the conventional generative replay, the generative
model is pre-trained for old data and shared in extra memory for later
incremental learning. In our proposed DF-GR, we train a generative model from
scratch without using any training data, based on the pre-trained
classification model from the past, so we curtail the cost of sharing
pre-trained generative models. Second, we introduce dual-teacher information
distillation (DT-ID) for knowledge distillation from two teachers to one
student. In CIL, we use DT-ID to learn new classes incrementally based on the
pre-trained model for old classes and another model (pre-)trained on the new
data for new classes. We implemented the proposed schemes on top of one of the
state-of-the-art CIL methods and showed the performance improvement on
CIFAR-100 and ImageNet datasets.
- Abstract（参考訳）: 本稿では,クラス増分学習(CIL)のための2つの新しい知識伝達手法を提案する。
まず,データフリーな生成リプレイ(DF-GR)を提案し,生成モデルからの合成サンプルを用いてCILの破滅的忘れを緩和する。
従来の生成リプレイでは、生成モデルは古いデータに対して事前訓練され、後続の漸進学習のために余分なメモリで共有される。
提案するdf-grでは,事前学習した分類モデルに基づいて,トレーニングデータを用いずにゼロから生成モデルを訓練し,事前学習した生成モデルを共有するコストを削減した。
次に,2人の教師から1人の生徒に知識蒸留を行うための2つの教員情報蒸留(DT-ID)を導入する。
CILでは、DT-IDを使用して、古いクラスの事前学習モデルと新しいクラスの新しいデータに基づいて訓練された別のモデルに基づいて、段階的に新しいクラスを学ぶ。
提案手法を最先端のCIL手法の1つ上に実装し,CIFAR-100およびImageNetデータセットの性能改善を示した。
関連論文リスト
- Adapt & Align: Continual Learning with Generative Models Latent Space
Alignment [15.729732755625474]
本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。
ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。
生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T10:02:17Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - Revisiting the Updates of a Pre-trained Model for Few-shot Learning [11.871523410051527]
我々は2つの人気のある更新手法、微調整と線形探索を比較した。
試料数の増加に伴い, 微調整は線形探索より優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-13T08:47:06Z) - Reproducible, incremental representation learning with Rosetta VAE [0.0]
変分オートエンコーダは、高次元データから低次元構造を蒸留する最も一般的な方法の一つである。
我々は、以前に学習した表現を蒸留し、新しいモデルを再現し、事前の結果に基づいて構築する手法であるRosetta VAEを紹介する。
R-VAEは、VAEや$beta$-VAEと同様にデータを再構成し、連続的なトレーニング環境でターゲット潜在空間の回復において、両方の手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-01-13T20:45:35Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳（メタデータ） (2021-10-14T04:05:25Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳（メタデータ） (2021-04-12T12:01:45Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z) - Two-Level Residual Distillation based Triple Network for Incremental
Object Detection [21.725878050355824]
本稿では,より高速なR-CNNに基づく新しいインクリメンタルオブジェクト検出手法を提案する。
従来の学習知識を忘れることなく、新しいクラスでの漸進的なモデル学習を支援するためのアシスタントとして、古いモデルと残留モデルを使用する三重ネットワークである。
論文 参考訳（メタデータ） (2020-07-27T11:04:57Z) - Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN [80.17705319689139]
複数のシングルタスク/マルチタスクの教師から,多タスクの学生ネットワークを構築するために,データフリーな知識アマルガメート戦略を提案する。
トレーニングデータを持たない提案手法は, フル教師付き手法と比較して, 驚くほど競争力のある結果が得られる。
論文 参考訳（メタデータ） (2020-03-20T03:20:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。