論文の概要: Diffusion Model Meets Non-Exemplar Class-Incremental Learning and Beyond

• arxiv url: http://arxiv.org/abs/2408.02983v1
• Date: Tue, 6 Aug 2024 06:33:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:49:26.960001
• Title: Diffusion Model Meets Non-Exemplar Class-Incremental Learning and Beyond
• Title（参考訳）: Diffusion Modelは、非初歩的なクラスインクリメンタルラーニングとそれを超える
• Authors: Jichuan Zhang, Yali Li, Xin Liu, Shengjin Wang,
• Abstract要約: 非典型的なクラス増分学習(Non-exemplar class-incremental learning、NECIL)は、古いクラスサンプルを保存せずに破滅的な忘れ込みに抵抗することである。 NECILのためのシンプルで効果的な textbfDiffusion ベースの textbfFeature textbfReplay (textbfDiffFR) 法を提案する。
• 参考スコア（独自算出の注目度）: 48.51784137032964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-exemplar class-incremental learning (NECIL) is to resist catastrophic forgetting without saving old class samples. Prior methodologies generally employ simple rules to generate features for replaying, suffering from large distribution gap between replayed features and real ones. To address the aforementioned issue, we propose a simple, yet effective \textbf{Diff}usion-based \textbf{F}eature \textbf{R}eplay (\textbf{DiffFR}) method for NECIL. First, to alleviate the limited representational capacity caused by fixing the feature extractor, we employ Siamese-based self-supervised learning for initial generalizable features. Second, we devise diffusion models to generate class-representative features highly similar to real features, which provides an effective way for exemplar-free knowledge memorization. Third, we introduce prototype calibration to direct the diffusion model's focus towards learning the distribution shapes of features, rather than the entire distribution. Extensive experiments on public datasets demonstrate significant performance gains of our DiffFR, outperforming the state-of-the-art NECIL methods by 3.0\% in average. The code will be made publicly available soon.
• Abstract（参考訳）: 非典型的なクラス増分学習(Non-exemplar class-incremental learning、NECIL)は、古いクラスサンプルを保存せずに破滅的な忘れ込みに抵抗することである。 従来の方法論では、リプレイされた機能と実際の機能の間に大きな分散ギャップがあるため、リプレイ用の機能を生成するための単純なルールが一般的である。 上記の問題に対処するため、NECIL のための単純で効果的な \textbf{Diff}usion-based \textbf{F}eature \textbf{R}eplay (\textbf{DiffFR}) 法を提案する。 まず,特徴抽出器の固定による表現能力の制限を緩和するために,初期一般化可能な特徴に対して,シームズに基づく自己教師付き学習を採用する。 第2に、拡散モデルを用いて、実特徴に非常によく似たクラス表現的特徴を生成する。 第3に,拡散モデルが分布全体ではなく,特徴の分布形状を学習することに焦点を当てたプロトタイプキャリブレーションを導入する。 公開データセットに対する大規模な実験は、当社のDiffFRの大幅なパフォーマンス向上を示し、最先端のNECILメソッドを平均3.06%上回った。 コードはまもなく公開される予定だ。

関連論文リスト

• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• Adding Conditional Control to Diffusion Models with Reinforcement Learning [59.295203871547336]
  拡散モデルは、生成されたサンプルの特性を正確に制御できる強力な生成モデルである。 本研究では、オフラインデータセットを活用した強化学習(RL)に基づく新しい制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:00:26Z)
• Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models [38.36200871549062]
  Zero-Shot Learning (ZSL) は、クラスレベルでのデータ効率を向上させることで、分類器が見えないクラスを識別できるようにすることを目的としている。 これは、未確認クラスの事前に定義されたセマンティクスから画像特徴を生成することで実現される。 本稿では,限られた例が一般的に生成モデルの性能低下をもたらすことを示す。 この統合されたフレームワークは拡散モデルを導入し、クラスレベルとインスタンスレベルのデータ効率を改善する。
  論文  参考訳（メタデータ） (2024-06-05T04:37:06Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning [21.088762527081883]
  Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。 第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。 凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
  論文  参考訳（メタデータ） (2023-09-25T11:54:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• ProtoDiffusion: Classifier-Free Diffusion Guidance with Prototype Learning [0.0]
  本研究では,拡散モデルにプロトタイプ学習を組み込んで,拡散モデルよりも高速な生成品質を実現する。 ProtoDiffusionと呼ばれる本手法は,ベースライン法に比べて早期の訓練において優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-07-04T21:18:39Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。