論文の概要: Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2311.18266v1
- Date: Thu, 30 Nov 2023 05:59:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 17:54:15.149457
- Title: Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning
- Title(参考訳): 授業インクリメンタル・ラーニングのためのプロンプトベースexemplar super-compression and regeneration
- Authors: Ruxiao Duan, Yaoyao Liu, Jieneng Chen, Adam Kortylewski, Alan Yuille
- Abstract要約: 超圧縮再生法であるESCORTは、その量を大幅に増加させ、模範者の多様性を高める。
生成した例と実画像の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案する。
- 参考スコア(独自算出の注目度): 22.676222987218555
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Replay-based methods in class-incremental learning (CIL) have attained
remarkable success, as replaying the exemplars of old classes can significantly
mitigate catastrophic forgetting. Despite their effectiveness, the inherent
memory restrictions of CIL result in saving a limited number of exemplars with
poor diversity, leading to data imbalance and overfitting issues. In this
paper, we introduce a novel exemplar super-compression and regeneration method,
ESCORT, which substantially increases the quantity and enhances the diversity
of exemplars. Rather than storing past images, we compress images into visual
and textual prompts, e.g., edge maps and class tags, and save the prompts
instead, reducing the memory usage of each exemplar to 1/24 of the original
size. In subsequent learning phases, diverse high-resolution exemplars are
generated from the prompts by a pre-trained diffusion model, e.g., ControlNet.
To minimize the domain gap between generated exemplars and real images, we
propose partial compression and diffusion-based data augmentation, allowing us
to utilize an off-the-shelf diffusion model without fine-tuning it on the
target dataset. Therefore, the same diffusion model can be downloaded whenever
it is needed, incurring no memory consumption. Comprehensive experiments
demonstrate that our method significantly improves model performance across
multiple CIL benchmarks, e.g., 5.0 percentage points higher than the previous
state-of-the-art on 10-phase Caltech-256 dataset.
- Abstract(参考訳): クラスインクリメンタル学習(cil)におけるリプレイベースの手法は、古いクラスの例をリプレイすることで壊滅的な忘れを著しく軽減できるため、驚くべき成功を収めている。
その効果にもかかわらず、CILの固有のメモリ制限は、多様性の低い少数の例を節約し、データの不均衡と過度な問題を引き起こす。
本稿では,エスペクティブな超圧縮再生手法であるESCORTを導入し,その量を大幅に増加させ,その多様性を高める。
過去の画像を保存する代わりに、エッジマップやクラスタグなどの視覚的およびテキスト的なプロンプトに画像を圧縮し、代わりにプロンプトを保存し、各例のメモリ使用量を元のサイズの1/24に削減する。
その後の学習フェーズでは、事前訓練された拡散モデル、例えば ControlNet によってプロンプトから多様な高分解能指数が生成される。
生成した例と実画像間の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案し,ターゲットデータセットに微調整することなく,市販拡散モデルを利用する。
したがって、同じ拡散モデルを必要に応じてダウンロードすることができ、メモリ消費は発生しない。
総合実験により,本手法は複数のCILベンチマークにおいて,従来の10フェーズのCaltech-256データセットよりも5.0ポイント高い精度でモデル性能を向上することが示された。
関連論文リスト
- Probing Image Compression For Class-Incremental Learning [8.711266563753846]
連続機械学習(ML)システムは、前もって学習したデータのパフォーマンスを維持するために、メモリ制限内に代表サンプル(例題としても知られる)を格納することに依存する。
本稿では,バッファの容量を増大させる戦略として画像圧縮を利用する方法を検討する。
本稿では,事前処理データ圧縮ステップと効率的な圧縮率/アルゴリズム選択方法を含む連続MLのための画像圧縮を組み込む新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-10T18:58:14Z) - GeNIe: Generative Hard Negative Images Through Diffusion [17.829788448502057]
テキストプロンプトに条件付き拡散モデルであるGeNIeを導入し、対照的なデータポイントをマージする。
最近の画像編集法に触発されて、拡散イテレーションの数とノイズの量を制限する。
提案手法の有効性を,数ショット,長テール分布設定で検証し,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-12-05T07:34:30Z) - Class-Incremental Learning using Diffusion Model for Distillation and
Replay [5.0977390531431634]
クラス増分学習は、以前学習したクラスを忘れずに、段階的に新しいクラスを学習することを目的としている。
本稿では,クラス増分学習のための追加データ源として,事前訓練された安定拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-06-30T11:23:49Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Effective Data Augmentation With Diffusion Models [65.09758931804478]
我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。
本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。
本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
論文 参考訳(メタデータ) (2023-02-07T20:42:28Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳(メタデータ) (2022-02-14T10:26:23Z) - Always Be Dreaming: A New Approach for Data-Free Class-Incremental
Learning [73.24988226158497]
データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。
そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。
本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
論文 参考訳(メタデータ) (2021-06-17T17:56:08Z) - IB-DRR: Incremental Learning with Information-Back Discrete
Representation Replay [4.8666876477091865]
インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。
以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。
しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
論文 参考訳(メタデータ) (2021-04-21T15:32:11Z) - Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。
画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。
実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
論文 参考訳(メタデータ) (2020-04-01T21:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。