論文の概要: Efficient Dataset Distillation via Minimax Diffusion
- arxiv url: http://arxiv.org/abs/2311.15529v2
- Date: Mon, 25 Mar 2024 14:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 00:21:53.216617
- Title: Efficient Dataset Distillation via Minimax Diffusion
- Title(参考訳): ミニマックス拡散による効率的なデータセット蒸留
- Authors: Jianyang Gu, Saeed Vahidian, Vyacheslav Kungurtsev, Haonan Wang, Wei Jiang, Yang You, Yiran Chen,
- Abstract要約: 本稿では,これらの基準を対象とする拡散過程の柔軟性を示す階層的拡散制御として,プロセスの理論モデルを提案する。
ImageWoofの100-IPC設定では,従来手法の蒸留時間は20分の1以下であったが,性能は向上した。
- 参考スコア(独自算出の注目度): 24.805804922949832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dataset distillation reduces the storage and computational consumption of training a network by generating a small surrogate dataset that encapsulates rich information of the original large-scale one. However, previous distillation methods heavily rely on the sample-wise iterative optimization scheme. As the images-per-class (IPC) setting or image resolution grows larger, the necessary computation will demand overwhelming time and resources. In this work, we intend to incorporate generative diffusion techniques for computing the surrogate dataset. Observing that key factors for constructing an effective surrogate dataset are representativeness and diversity, we design additional minimax criteria in the generative training to enhance these facets for the generated images of diffusion models. We present a theoretical model of the process as hierarchical diffusion control demonstrating the flexibility of the diffusion process to target these criteria without jeopardizing the faithfulness of the sample to the desired distribution. The proposed method achieves state-of-the-art validation performance while demanding much less computational resources. Under the 100-IPC setting on ImageWoof, our method requires less than one-twentieth the distillation time of previous methods, yet yields even better performance. Source code and generated data are available in https://github.com/vimar-gu/MinimaxDiffusion.
- Abstract(参考訳): データセット蒸留は、元の大規模データの豊富な情報をカプセル化した小さなサロゲートデータセットを生成することで、ネットワークのトレーニングの記憶と計算消費を減らす。
しかし, 従来の蒸留法は, サンプリングワイド反復最適化方式に大きく依存している。
画像毎クラス(IPC)の設定や画像解像度が大きくなるにつれて、必要な計算は圧倒的な時間とリソースを必要とする。
本研究は,サロゲートデータセットの計算に生成拡散技術を導入することを目的としている。
実効的なサロゲートデータセットを構築する上で重要な要素は代表性と多様性であることに気付き、生成訓練における追加のミニマックス基準を設計し、これらのファセットを拡散モデルの生成画像に対して強化する。
本稿では,これらの基準を目標とする拡散過程の柔軟性を示す階層的拡散制御として,標本の忠実さを所望の分布に損なうことなく,プロセスの理論モデルを提案する。
提案手法は,計算資源の削減を図りながら,最先端の検証性能を実現する。
ImageWoofの100-IPC設定では,従来手法の蒸留時間は20分の1以下であったが,性能は向上した。
ソースコードと生成されたデータはhttps://github.com/vimar-gu/MinimaxDiffusionで入手できる。
関連論文リスト
- Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳(メタデータ) (2024-05-09T17:59:40Z) - Score identity Distillation: Exponentially Fast Distillation of Pretrained Diffusion Models for One-Step Generation [61.03530321578825]
Score Identity Distillation (SiD) は、事前学習した拡散モデルの生成能力を1ステップ生成器に蒸留する革新的なデータフリー手法である。
SiDは、蒸留中のFr'echet開始距離(FID)を指数的に高速に減少させるだけでなく、元の教師拡散モデルのFID性能に近づいたり、超えたりする。
論文 参考訳(メタデータ) (2024-04-05T12:30:19Z) - DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。
セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。
本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
論文 参考訳(メタデータ) (2024-03-20T04:58:03Z) - One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。
提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
論文 参考訳(メタデータ) (2024-03-11T20:23:59Z) - E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image
Translation [71.7970885247162]
拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか?
まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。
第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。
論文 参考訳(メタデータ) (2024-01-11T18:59:14Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-08T20:30:55Z) - Unpaired Downscaling of Fluid Flows with Diffusion Bridges [0.0]
ドメイン翻訳に使用する2つの独立条件拡散モデルをどのように連鎖させるかを示す。
結果として得られる変換は、低解像度と高解像度データセットの間の拡散ブリッジである。
本手法は, 物理流体シミュレーションにおいて, 分解能を高め, 文脈依存バイアスを補正することを示した。
論文 参考訳(メタデータ) (2023-05-02T23:13:44Z) - Image retrieval outperforms diffusion models on data augmentation [36.559967424331695]
拡散モデルは、分類などの下流タスクのためのトレーニングデータセットを強化するために提案されている。
強化のために事前学習プロセスの追加データを直接利用して、改善を十分に一般化するかどうかは不明だ。
ターゲットデータに対する拡散モデルのパーソナライズは、より単純なプロンプト戦略より優れている。
しかし,拡散モデルの事前学習データのみを用いることで,より強力な下流性能が得られる。
論文 参考訳(メタデータ) (2023-04-20T12:21:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。