論文の概要: Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2311.18266v1
- Date: Thu, 30 Nov 2023 05:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 17:54:15.149457
- Title: Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning
- Title（参考訳）: 授業インクリメンタル・ラーニングのためのプロンプトベースexemplar super-compression and regeneration
- Authors: Ruxiao Duan, Yaoyao Liu, Jieneng Chen, Adam Kortylewski, Alan Yuille
- Abstract要約: 超圧縮再生法であるESCORTは、その量を大幅に増加させ、模範者の多様性を高める。
生成した例と実画像の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案する。
- 参考スコア（独自算出の注目度）: 22.676222987218555
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Replay-based methods in class-incremental learning (CIL) have attained
remarkable success, as replaying the exemplars of old classes can significantly
mitigate catastrophic forgetting. Despite their effectiveness, the inherent
memory restrictions of CIL result in saving a limited number of exemplars with
poor diversity, leading to data imbalance and overfitting issues. In this
paper, we introduce a novel exemplar super-compression and regeneration method,
ESCORT, which substantially increases the quantity and enhances the diversity
of exemplars. Rather than storing past images, we compress images into visual
and textual prompts, e.g., edge maps and class tags, and save the prompts
instead, reducing the memory usage of each exemplar to 1/24 of the original
size. In subsequent learning phases, diverse high-resolution exemplars are
generated from the prompts by a pre-trained diffusion model, e.g., ControlNet.
To minimize the domain gap between generated exemplars and real images, we
propose partial compression and diffusion-based data augmentation, allowing us
to utilize an off-the-shelf diffusion model without fine-tuning it on the
target dataset. Therefore, the same diffusion model can be downloaded whenever
it is needed, incurring no memory consumption. Comprehensive experiments
demonstrate that our method significantly improves model performance across
multiple CIL benchmarks, e.g., 5.0 percentage points higher than the previous
state-of-the-art on 10-phase Caltech-256 dataset.
- Abstract（参考訳）: クラスインクリメンタル学習(cil)におけるリプレイベースの手法は、古いクラスの例をリプレイすることで壊滅的な忘れを著しく軽減できるため、驚くべき成功を収めている。
その効果にもかかわらず、CILの固有のメモリ制限は、多様性の低い少数の例を節約し、データの不均衡と過度な問題を引き起こす。
本稿では,エスペクティブな超圧縮再生手法であるESCORTを導入し,その量を大幅に増加させ,その多様性を高める。
過去の画像を保存する代わりに、エッジマップやクラスタグなどの視覚的およびテキスト的なプロンプトに画像を圧縮し、代わりにプロンプトを保存し、各例のメモリ使用量を元のサイズの1/24に削減する。
その後の学習フェーズでは、事前訓練された拡散モデル、例えば ControlNet によってプロンプトから多様な高分解能指数が生成される。
生成した例と実画像間の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案し,ターゲットデータセットに微調整することなく,市販拡散モデルを利用する。
したがって、同じ拡散モデルを必要に応じてダウンロードすることができ、メモリ消費は発生しない。
総合実験により,本手法は複数のCILベンチマークにおいて,従来の10フェーズのCaltech-256データセットよりも5.0ポイント高い精度でモデル性能を向上することが示された。
関連論文リスト
- Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models [51.3915762595891]
本稿では、デバイス上での主観的生成のための効率的なLoRAに基づくパーソナライズ手法を提案する。
提案手法はHollowed Netと呼ばれ,拡散U-Netのアーキテクチャを変更することにより,微調整時のメモリ効率を向上させる。
論文 参考訳（メタデータ） (2024-11-02T08:42:48Z) - Effective Diffusion Transformer Architecture for Image Super-Resolution [63.254644431016345]
画像超解像のための効果的な拡散変換器(DiT-SR)を設計する。
実際には、DiT-SRは全体のU字型アーキテクチャを活用し、すべての変圧器ブロックに対して均一な等方性設計を採用する。
我々は、広く使われているAdaLNの制限を分析し、周波数適応型時間-ステップ条件付けモジュールを提案する。
論文 参考訳（メタデータ） (2024-09-29T07:14:16Z) - Probing Image Compression For Class-Incremental Learning [8.711266563753846]
連続機械学習(ML)システムは、前もって学習したデータのパフォーマンスを維持するために、メモリ制限内に代表サンプル(例題としても知られる)を格納することに依存する。
本稿では,バッファの容量を増大させる戦略として画像圧縮を利用する方法を検討する。
本稿では,事前処理データ圧縮ステップと効率的な圧縮率/アルゴリズム選択方法を含む連続MLのための画像圧縮を組み込む新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-10T18:58:14Z) - Mitigate Replication and Copying in Diffusion Models with Generalized
Caption and Dual Fusion Enhancement [7.9911486976035215]
本稿では,キャプションの一般性を測定し,大言語モデル(LLM)を用いてトレーニングキャプションを一般化する一般化スコアを提案する。
一般化キャプションを活用し,拡散モデルの複製を緩和する新しい二重核融合拡張手法を提案する。
論文 参考訳（メタデータ） (2023-09-13T18:43:13Z) - MOFA: A Model Simplification Roadmap for Image Restoration on Mobile
Devices [17.54747506334433]
本稿では,展開前の画像復元モデルをさらに高速化するロードマップを提案する。
提案手法は,PSNRとSSIMを増大させながら,ランタイムを最大13%削減し,パラメータ数を最大23%削減する。
論文 参考訳（メタデータ） (2023-08-24T01:29:15Z) - LLDiffusion: Learning Degradation Representations in Diffusion Models
for Low-Light Image Enhancement [118.83316133601319]
現在の低照度画像強調(LLIE)の深層学習法は、通常、ペア化されたデータから学んだピクセルワイドマッピングに依存している。
本稿では,拡散モデルを用いたLLIEの劣化認識学習手法を提案する。
論文 参考訳（メタデータ） (2023-07-27T07:22:51Z) - Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。
ストレージの要求が大きいため、一般ユーザからは広く採用されていない。
本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-21T06:59:07Z) - Multimodal Data Augmentation for Image Captioning using Diffusion Models [12.221685807426264]
本研究では,Stable Diffusionと呼ばれるテキスト・ツー・イメージ・モデルを利用してトレーニングセットを拡張するデータ拡張手法を提案する。
MS COCOデータセットの実験は、いくつかのベンチマーク手法に対する我々のアプローチの利点を実証している。
生成されたデータを意図的にフィルタリングした後、トレーニング効率及び有効性に関するさらなる改善が得られる。
論文 参考訳（メタデータ） (2023-05-03T01:57:33Z) - Effective Data Augmentation With Diffusion Models [65.09758931804478]
我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。
本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。
本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
論文 参考訳（メタデータ） (2023-02-07T20:42:28Z) - Always Be Dreaming: A New Approach for Data-Free Class-Incremental
Learning [73.24988226158497]
データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。
そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。
本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
論文 参考訳（メタデータ） (2021-06-17T17:56:08Z) - Improving Inference for Neural Image Compression [31.999462074510305]
State-of-the-art method build on Hierarchical variational autoencoders to predict a compressible latent representation of each data point。
従来の手法では性能を制限した3つの近似ギャップを同定する。
本稿では,これら3つの制約のそれぞれについて,反復的推論に関する考え方に基づく対策を提案する。
論文 参考訳（メタデータ） (2020-06-07T19:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。