論文の概要: Latent Dataset Distillation with Diffusion Models
- arxiv url: http://arxiv.org/abs/2403.03881v1
- Date: Wed, 6 Mar 2024 17:41:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 14:01:00.002026
- Title: Latent Dataset Distillation with Diffusion Models
- Title（参考訳）: 拡散モデルを用いた潜在データセット蒸留
- Authors: Brian B. Moser, Federico Raue, Sebastian Palacio, Stanislav Frolov and
Andreas Dengel
- Abstract要約: 大規模なデータセットはストレージの課題に対処し、非インフルエンシャルなサンプルを含む。
データセット上の情報を凝縮した(合成された)サンプル、すなわち蒸留されたデータセットに蒸留するという概念が出現した。
- 参考スコア（独自算出の注目度）: 10.082751617396474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The efficacy of machine learning has traditionally relied on the availability
of increasingly larger datasets. However, large datasets pose storage
challenges and contain non-influential samples, which could be ignored during
training without impacting the final accuracy of the model. In response to
these limitations, the concept of distilling the information on a dataset into
a condensed set of (synthetic) samples, namely a distilled dataset, emerged.
One crucial aspect is the selected architecture (usually ConvNet) for linking
the original and synthetic datasets. However, the final accuracy is lower if
the employed model architecture differs from the model used during
distillation. Another challenge is the generation of high-resolution images,
e.g., 128x128 and higher. In this paper, we propose Latent Dataset Distillation
with Diffusion Models (LD3M) that combine diffusion in latent space with
dataset distillation to tackle both challenges. LD3M incorporates a novel
diffusion process tailored for dataset distillation, which improves the
gradient norms for learning synthetic images. By adjusting the number of
diffusion steps, LD3M also offers a straightforward way of controlling the
trade-off between speed and accuracy. We evaluate our approach in several
ImageNet subsets and for high-resolution images (128x128 and 256x256). As a
result, LD3M consistently outperforms state-of-the-art distillation techniques
by up to 4.8 p.p. and 4.2 p.p. for 1 and 10 images per class, respectively.
- Abstract（参考訳）: 機械学習の有効性は伝統的に、ますます大きなデータセットの可用性に依存している。
しかし、大きなデータセットはストレージの問題を引き起こし、影響のないサンプルを含んでいるため、トレーニング中にモデルの最終的な精度に影響を与えることなく無視することができる。
これらの制限に応えて、データセットの情報を(合成)サンプルの凝縮集合、すなわち蒸留データセットに蒸留するという概念が浮上した。
重要な側面のひとつは、オリジナルデータセットと合成データセットをリンクするための選択されたアーキテクチャ(通常はconvnet)である。
しかし, 使用済みモデルアーキテクチャが蒸留時に使用するモデルと異なる場合, 最終的な精度は低い。
もうひとつの課題は、128x128以上の高解像度画像の生成である。
本稿では,潜時空間における拡散とデータセット蒸留を組み合わせた拡散モデル(ld3m)を用いた潜時データセット蒸留を提案する。
LD3Mは、データセットの蒸留に適した新しい拡散プロセスを導入し、合成画像の学習の勾配基準を改善する。
拡散段数を調整することで、LD3Mは速度と精度のトレードオフを直感的に制御する方法を提供する。
我々は,複数のImageNetサブセットと高解像度画像(128x128,256x256)にアプローチを評価した。
その結果、LD3Mは1クラスあたり1.8 p.p.と4.2 p.p.で、それぞれ最先端の蒸留技術を上回っている。
関連論文リスト
- Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。
提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
論文 参考訳（メタデータ） (2024-11-19T20:10:28Z) - One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。
近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。
我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
論文 参考訳（メタデータ） (2024-08-14T11:47:22Z) - One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。
提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
論文 参考訳（メタデータ） (2024-03-11T20:23:59Z) - Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳（メタデータ） (2024-01-29T03:29:39Z) - Data Distillation Can Be Like Vodka: Distilling More Times For Better
Quality [78.6359306550245]
蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。
PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。
実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-10-10T20:04:44Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。
このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。
生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-02T17:59:31Z) - DiM: Distilling Dataset into Generative Model [42.32433831074992]
そこで我々は,大列車のtextbfinto 生成textbfModels の textbfDistill 情報に対する新しい蒸留手法を提案する。
蒸留段階では,実画像と生成画像のモデルプールによって予測されるロジットの差を最小限に抑える。
展開段階では、生成モデルはハエのランダムノイズから様々なトレーニングサンプルを合成する。
論文 参考訳（メタデータ） (2023-03-08T16:48:24Z) - Minimizing the Accumulated Trajectory Error to Improve Dataset
Distillation [151.70234052015948]
本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。
合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。
本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
論文 参考訳（メタデータ） (2022-11-20T15:49:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。