論文の概要: Class Impression for Data-free Incremental Learning
- arxiv url: http://arxiv.org/abs/2207.00005v2
- Date: Mon, 4 Jul 2022 15:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-10 13:52:57.610935
- Title: Class Impression for Data-free Incremental Learning
- Title(参考訳): データフリーインクリメンタル学習のためのクラス印象
- Authors: Sana Ayromlou and Purang Abolmaesumi and Teresa Tsang and Xiaoxiao Li
- Abstract要約: ディープラーニングベースの分類アプローチでは、事前にすべてのクラスからすべてのサンプルを収集し、オフラインでトレーニングする必要がある。
このパラダイムは、新しいデータの追加によって新しいクラスが徐々に導入される現実世界の臨床応用では実用的ではないかもしれない。
本稿では,従来のクラスでトレーニングされたモデルからデータを初めて合成し,本クラスを生成する,新しいデータ自由クラスインクリメンタルラーニングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 20.23329169244367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard deep learning-based classification approaches require collecting all
samples from all classes in advance and are trained offline. This paradigm may
not be practical in real-world clinical applications, where new classes are
incrementally introduced through the addition of new data. Class incremental
learning is a strategy allowing learning from such data. However, a major
challenge is catastrophic forgetting, i.e., performance degradation on previous
classes when adapting a trained model to new data. Prior methodologies to
alleviate this challenge save a portion of training data require perpetual
storage of such data that may introduce privacy issues. Here, we propose a
novel data-free class incremental learning framework that first synthesizes
data from the model trained on previous classes to generate a \ours.
Subsequently, it updates the model by combining the synthesized data with new
class data. Furthermore, we incorporate a cosine normalized Cross-entropy loss
to mitigate the adverse effects of the imbalance, a margin loss to increase
separation among previous classes and new ones, and an intra-domain contrastive
loss to generalize the model trained on the synthesized data to real data. We
compare our proposed framework with state-of-the-art methods in class
incremental learning, where we demonstrate improvement in accuracy for the
classification of 11,062 echocardiography cine series of patients.
- Abstract(参考訳): 標準的なディープラーニングベースの分類アプローチでは、すべてのクラスからすべてのサンプルを事前に収集し、オフラインでトレーニングする必要がある。
このパラダイムは、新しいデータの追加によって新しいクラスが徐々に導入される現実の臨床応用では実用的ではないかもしれない。
クラスインクリメンタルな学習は、このようなデータから学ぶことができる戦略である。
しかし、大きな課題は破滅的な忘れ、すなわち、トレーニングされたモデルを新しいデータに適用する際の前のクラスのパフォーマンス劣化である。
この課題を緩和する以前の手法では、トレーニングデータの一部を保存するには、プライバシー問題を引き起こす可能性のあるデータの永続的な保存が必要である。
本稿では,従来のクラスでトレーニングされたモデルからデータを初めて合成して,‘ours’を生成する,新しいデータ自由クラスインクリメンタルラーニングフレームワークを提案する。
その後、合成したデータを新しいクラスデータと組み合わせてモデルを更新する。
さらに,コサイン正規化クロスエントロピー損失を組み込んで不均衡の悪影響を緩和し,先行クラスと新規クラスの分離を増加させるマージン損失と,合成データで訓練されたモデルを実データに一般化するドメイン内コントラスト損失とを組み込んだ。
本研究は,11,062例の心エコーシネシリーズの分類における精度の向上を実証するため,本手法とクラスインクリメンタルラーニングの最先端手法を比較した。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Bridging the Gap: Learning Pace Synchronization for Open-World
Semi-Supervised Learning [49.07038093130949]
オープンワールドの半教師付き学習において、機械学習モデルはラベルなしのデータから新しいカテゴリを明らかにすることを任務とする。
モデルは、正確な監督情報によって、前者をより早く学習する。
本稿では,1) クラス分布の推定に基づく適応的マージンの損失,2) 学習ペースの同期化,2) 出力空間の同じクラスからサンプルを抽出する擬似ラベルコントラストクラスタリングについて紹介する。
論文 参考訳(メタデータ) (2023-09-21T09:44:39Z) - On-the-fly Denoising for Data Augmentation in Natural Language
Understanding [101.46848743193358]
よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。
本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
論文 参考訳(メタデータ) (2022-12-20T18:58:33Z) - Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。
我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。
提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
論文 参考訳(メタデータ) (2022-11-05T17:19:14Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳(メタデータ) (2022-02-11T13:49:51Z) - Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。
クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。
提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
論文 参考訳(メタデータ) (2022-01-04T06:55:19Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳(メタデータ) (2020-08-31T04:11:24Z) - Move-to-Data: A new Continual Learning approach with Deep CNNs,
Application for image-class recognition [0.0]
トレーニング記録フェーズ」でモデルを事前トレーニングし、新しいデータに調整する必要がある。
本稿では,ニューラルネットワークの終端における高速連続学習層を提案する。
論文 参考訳(メタデータ) (2020-06-12T13:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。