論文の概要: Data-Free Generative Replay for Class-Incremental Learning on Imbalanced Data
- arxiv url: http://arxiv.org/abs/2406.09052v1
- Date: Fri, 7 Jun 2024 17:51:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 18:05:18.519736
- Title: Data-Free Generative Replay for Class-Incremental Learning on Imbalanced Data
- Title（参考訳）: 不均衡データに基づくクラスインクリメンタル学習のためのデータフリー生成リプレイ
- Authors: Sohaib Younis, Bernhard Seeger,
- Abstract要約: 連続的な学習は、特に不均衡なデータセットを持つ画像分類タスクにおいて、機械学習において難しい問題である。
本稿では、実データにアクセスせずに生成者を訓練するクラスインクリメンタルラーニングのためのData-Free Generative Replay(DFGR)を提案する。
DFGRはMNISTデータセットとFashionMNISTデータセットでそれぞれ88.5%と46.6%の精度を達成している。
- 参考スコア（独自算出の注目度）: 0.7366405857677227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning is a challenging problem in machine learning, especially for image classification tasks with imbalanced datasets. It becomes even more challenging when it involves learning new classes incrementally. One method for incremental class learning, addressing dataset imbalance, is rehearsal using previously stored data. In rehearsal-based methods, access to previous data is required for either training the classifier or the generator, but it may not be feasible due to storage, legal, or data access constraints. Although there are many rehearsal-free alternatives for class incremental learning, such as parameter or loss regularization, knowledge distillation, and dynamic architectures, they do not consistently achieve good results, especially on imbalanced data. This paper proposes a new approach called Data-Free Generative Replay (DFGR) for class incremental learning, where the generator is trained without access to real data. In addition, DFGR also addresses dataset imbalance in continual learning of an image classifier. Instead of using training data, DFGR trains a generator using mean and variance statistics of batch-norm and feature maps derived from a pre-trained classification model. The results of our experiments demonstrate that DFGR performs significantly better than other data-free methods and reveal the performance impact of specific parameter settings. DFGR achieves up to 88.5% and 46.6% accuracy on MNIST and FashionMNIST datasets, respectively. Our code is available at https://github.com/2younis/DFGR
- Abstract（参考訳）: 連続的な学習は、特に不均衡なデータセットを持つ画像分類タスクにおいて、機械学習において難しい問題である。
新しいクラスを漸進的に学ぶことで、さらに難しくなります。
データセットの不均衡に対処するインクリメンタルなクラス学習の1つの方法は、予め格納されたデータを使ってリハーサルを行うことである。
リハーサルベースの手法では、分類器またはジェネレータのトレーニングには、以前のデータへのアクセスが必要であるが、ストレージ、合法またはデータアクセス制限のため、実現不可能である可能性がある。
パラメータや損失正規化、知識蒸留、動的アーキテクチャといった、クラスインクリメンタルな学習のためのリハーサルのない代替手段は数多く存在するが、特に不均衡なデータでは、良い結果が得られない。
本稿では,実データにアクセスせずにジェネレータを訓練するクラスインクリメンタル学習のためのData-Free Generative Replay (DFGR) という新しい手法を提案する。
さらに、DFGRは画像分類器の連続学習におけるデータセットの不均衡にも対処する。
DFGRは、トレーニングデータを使用する代わりに、バッチノルムの平均と分散統計と、事前訓練された分類モデルから派生した特徴写像を用いてジェネレータを訓練する。
実験の結果,DFGRは他のデータフリー手法よりも優れた性能を示し,パラメータ設定の性能への影響を明らかにした。
DFGRはMNISTデータセットとFashionMNISTデータセットでそれぞれ88.5%と46.6%の精度を達成している。
私たちのコードはhttps://github.com/2younis/DFGRで公開されています。
関連論文リスト
- Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。
学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。
本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T00:25:07Z) - GENIU: A Restricted Data Access Unlearning for Imbalanced Data [7.854651232997996]
クラスアンラーニングでは、トレーニングされたモデルが、以前に学習した特定のクラスに属するデータを忘れることを可能にする。
GENIUは、非学習不均衡なデータ設定と制限されたデータアクセスのための最初の実践的フレームワークである。
論文 参考訳（メタデータ） (2024-06-12T05:24:53Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Adjusting Logit in Gaussian Form for Long-Tailed Visual Recognition [37.62659619941791]
特徴レベルの観点から、長い尾の視覚認識の問題について検討する。
2つの新しいロジット調整法が提案され,計算オーバーヘッドの緩やかなモデル性能が向上した。
ベンチマークデータセットを用いて行った実験は,提案手法の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-18T02:06:06Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Reproducible, incremental representation learning with Rosetta VAE [0.0]
変分オートエンコーダは、高次元データから低次元構造を蒸留する最も一般的な方法の一つである。
我々は、以前に学習した表現を蒸留し、新しいモデルを再現し、事前の結果に基づいて構築する手法であるRosetta VAEを紹介する。
R-VAEは、VAEや$beta$-VAEと同様にデータを再構成し、連続的なトレーニング環境でターゲット潜在空間の回復において、両方の手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-01-13T20:45:35Z) - Hyperparameter-free Continuous Learning for Domain Classification in
Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である
既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。
本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文 参考訳（メタデータ） (2022-01-05T02:46:16Z) - Data Aggregation for Reducing Training Data in Symbolic Regression [0.0]
本研究は、トレーニングデータを削減する方法と、遺伝的プログラミングのランタイムについても論じる。
K平均クラスタリングとデータビンニングはデータアグリゲーションに使われ、最も単純なデータリダクション法としてランダムサンプリングと比較される。
遺伝的プログラミングの性能は、ランダムな森林と線形回帰と比較される。
論文 参考訳（メタデータ） (2021-08-24T11:58:17Z) - Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。
我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。
複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
論文 参考訳（メタデータ） (2021-06-17T11:41:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。