論文の概要: Memory-Free Generative Replay For Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2109.00328v1
• Date: Wed, 1 Sep 2021 12:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 14:19:29.451346
• Title: Memory-Free Generative Replay For Class-Incremental Learning
• Title（参考訳）: クラス増分学習のためのメモリフリー生成リプレイ
• Authors: Xiaomeng Xin, Yiran Zhong, Yunzhong Hou, Jinjun Wang, Liang Zheng
• Abstract要約: 本研究では,メモリフリーな生成再生戦略を提案し,クラス特性の微粒化を抑える。 本手法は,従来のクラスを識別しやすくするために有効であることが証明された事前正規化に基づく手法によって最もよく補完される。
• 参考スコア（独自算出の注目度）: 32.39857105540859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization-based methods are beneficial to alleviate the catastrophic forgetting problem in class-incremental learning. With the absence of old task images, they often assume that old knowledge is well preserved if the classifier produces similar output on new images. In this paper, we find that their effectiveness largely depends on the nature of old classes: they work well on classes that are easily distinguishable between each other but may fail on more fine-grained ones, e.g., boy and girl. In spirit, such methods project new data onto the feature space spanned by the weight vectors in the fully connected layer, corresponding to old classes. The resulting projections would be similar on fine-grained old classes, and as a consequence the new classifier will gradually lose the discriminative ability on these classes. To address this issue, we propose a memory-free generative replay strategy to preserve the fine-grained old classes characteristics by generating representative old images directly from the old classifier and combined with new data for new classifier training. To solve the homogenization problem of the generated samples, we also propose a diversity loss that maximizes Kullback Leibler (KL) divergence between generated samples. Our method is best complemented by prior regularization-based methods proved to be effective for easily distinguishable old classes. We validate the above design and insights on CUB-200-2011, Caltech-101, CIFAR-100 and Tiny ImageNet and show that our strategy outperforms existing memory-free methods with a clear margin. Code is available at https://github.com/xmengxin/MFGR
• Abstract（参考訳）: 正規化に基づく手法は、クラス増分学習における破滅的な忘れの問題を軽減するのに有用である。 古いタスクイメージがない場合、分類器が新しいイメージに類似の出力を生成する場合、古い知識は十分に保存されていると仮定することが多い。 本稿では,その効果が旧来のクラスの性質に大きく依存していることを見いだす。それらは互いに容易に区別できるが,よりきめ細かいクラス(例えば男の子と女の子)では失敗する可能性があるクラスでうまく機能する。 このような方法では、古いクラスに対応する完全に連結された層の重みベクトルによって区切られた特徴空間に新しいデータを投影する。 結果として得られる射影は、きめ細かい古いクラスで類似し、その結果、新しい分類器は、これらのクラスにおける識別能力を失う。 そこで本研究では,古い分類器から直接代表的古い画像を生成し,新しい分類器訓練のための新しいデータと組み合わせることで,きめ細かい古いクラス特性を保存できるメモリフリー生成リプレイ戦略を提案する。 生成サンプルの均質化問題を解決するために,生成サンプル間のKullback Leibler(KL)のばらつきを最大化する多様性損失も提案する。 本手法は, 容易に識別可能な古いクラスに対して有効であることが証明された, 事前正規化に基づく手法が最適である。 CUB-200-2011, Caltech-101, CIFAR-100, Tiny ImageNet における上記の設計と知見を検証し, 既存のメモリフリー手法よりも明確なマージンで優れていることを示す。 コードはhttps://github.com/xmengxin/MFGRで入手できる。

関連論文リスト

• Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
  現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。 そこで本研究では,より効率的なNECIL手法を提案する。 提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-03T07:19:11Z)
• PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
  クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。 既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。 本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:03:16Z)
• Active Generalized Category Discovery [60.69060965936214]
  GCD(Generalized Category Discovery)は、新しいクラスと古いクラスの未ラベルのサンプルをクラスタ化するための取り組みである。 我々は,能動的学習の精神を取り入れて,能動的一般化カテゴリー発見(AGCD)という新たな設定を提案する。 提案手法は, 汎用および微粒なデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-07T07:12:24Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• Non-exemplar Class-incremental Learning by Random Auxiliary Classes Augmentation and Mixed Features [37.51376572211081]
  クラス増分学習(クラス増分学習)とは、古いクラスのサンプルを保存することなく、新しいクラスと古いクラスを分類することである。 本稿では,Random Auxiliary Class Augmentation と Mixed Feature を組み合わせたRAMF と呼ばれる実効非経験的手法を提案する。
  論文  参考訳（メタデータ） (2023-04-16T06:33:43Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• GistNet: a Geometric Structure Transfer Network for Long-Tailed Recognition [95.93760490301395]
  長い尾の認識は、クラスごとのサンプル数が非常にアンバランスである問題です。 GistNetは、クラスジオメトリをエンコードするために分類パラメータのコンステレーションを使用して、この目標をサポートするように提案されている。 新しい学習アルゴリズムがGeometrIc Structure Transfer (GIST) に提案され、クラスバランスとランダムサンプリングを組み合わせた損失関数の組み合わせにより、一般的なクラスに過度に適合することは幾何パラメータに制限されるが、人気クラスから少数ショットクラスへのクラス幾何学の転送に利用される。
  論文  参考訳（メタデータ） (2021-05-01T00:37:42Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。