論文の概要: Class-Incremental Learning using Diffusion Model for Distillation and Replay

• arxiv url: http://arxiv.org/abs/2306.17560v2
• Date: Tue, 10 Oct 2023 02:33:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 08:28:48.147433
• Title: Class-Incremental Learning using Diffusion Model for Distillation and Replay
• Title（参考訳）: 拡散モデルを用いた授業増分学習による蒸留・再生
• Authors: Quentin Jodelet, Xin Liu, Yin Jun Phua, Tsuyoshi Murata
• Abstract要約: クラス増分学習は、以前学習したクラスを忘れずに、段階的に新しいクラスを学習することを目的としている。 本稿では,クラス増分学習のための追加データ源として,事前訓練された安定拡散モデルを提案する。
• 参考スコア（独自算出の注目度）: 5.0977390531431634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning aims to learn new classes in an incremental fashion without forgetting the previously learned ones. Several research works have shown how additional data can be used by incremental models to help mitigate catastrophic forgetting. In this work, following the recent breakthrough in text-to-image generative models and their wide distribution, we propose the use of a pretrained Stable Diffusion model as a source of additional data for class-incremental learning. Compared to competitive methods that rely on external, often unlabeled, datasets of real images, our approach can generate synthetic samples belonging to the same classes as the previously encountered images. This allows us to use those additional data samples not only in the distillation loss but also for replay in the classification loss. Experiments on the competitive benchmarks CIFAR100, ImageNet-Subset, and ImageNet demonstrate how this new approach can be used to further improve the performance of state-of-the-art methods for class-incremental learning on large scale datasets.
• Abstract（参考訳）: クラスインクリメンタル学習は、新しいクラスをインクリメンタルに学習することを目的としている。 いくつかの研究は、破滅的な忘れを和らげるために、インクリメンタルモデルによって追加のデータを使用する方法を示している。 本研究では,テキストから画像への生成モデルとその広範な分布の最近の進展に続き,事前訓練された安定拡散モデルをクラス増分学習のための追加データ源として利用することを提案する。 実画像の外部的、しばしばラベルなしのデータセットに依存する競合手法と比較して、このアプローチは、以前遭遇した画像と同じクラスに属する合成サンプルを生成することができる。 これにより、これらの追加データサンプルを蒸留損失だけでなく、分類損失の再生にも利用できる。 競合ベンチマークであるcifar100、imagenet-subset、imagenetの実験では、この新たなアプローチが、大規模データセットでのクラスインクリメンタル学習における最先端メソッドのパフォーマンス向上にどのように役立つかが示されている。

関連論文リスト

• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Feature Expansion and enhanced Compression for Class Incremental Learning [3.3425792454347616]
  本稿では,従来のクラスサンプルのパッチを圧縮中に新しいイメージに切り混ぜることで,従来のクラス知識の圧縮を強化するアルゴリズムを提案する。 この新たなデータ拡張により,過去のクラス情報を特にターゲットとし,圧縮を改善することで,破滅的な忘れを低減できることを示す。
  論文  参考訳（メタデータ） (2024-05-13T06:57:18Z)
• Future-Proofing Class Incremental Learning [4.666429553461402]
  本稿では,事前学習したテキストと画像の拡散モデルを用いて,将来のクラスの合成画像を生成し,特徴抽出器を訓練する。 CIFAR100 と ImageNet-Subset の標準ベンチマーク実験により,提案手法は非正規クラスインクリメンタルラーニングにおける最先端手法の改善に有効であることが示された。
  論文  参考訳（メタデータ） (2024-04-04T05:08:51Z)
• Active Generation for Image Classification [45.93535669217115]
  本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。 能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
  論文  参考訳（メタデータ） (2024-03-11T08:45:31Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Image retrieval outperforms diffusion models on data augmentation [36.559967424331695]
  拡散モデルは、分類などの下流タスクのためのトレーニングデータセットを強化するために提案されている。 強化のために事前学習プロセスの追加データを直接利用して、改善を十分に一般化するかどうかは不明だ。 ターゲットデータに対する拡散モデルのパーソナライズは、より単純なプロンプト戦略より優れている。 しかし,拡散モデルの事前学習データのみを用いることで,より強力な下流性能が得られる。
  論文  参考訳（メタデータ） (2023-04-20T12:21:30Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Half-Real Half-Fake Distillation for Class-Incremental Semantic Segmentation [84.1985497426083]
  畳み込みニューラルネットワークは漸進的な学習に不適である。 新しいクラスは利用できるが、初期トレーニングデータは保持されない。 訓練されたセグメンテーションネットワークを「反転」して、ランダムノイズから始まる入力画像の合成を試みる。
  論文  参考訳（メタデータ） (2021-04-02T03:47:16Z)
• Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition [0.0]
  トレーニング記録フェーズ」でモデルを事前トレーニングし、新しいデータに調整する必要がある。 本稿では,ニューラルネットワークの終端における高速連続学習層を提案する。
  論文  参考訳（メタデータ） (2020-06-12T13:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。