論文の概要: Latent Dataset Distillation with Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.03881v3
• Date: Thu, 11 Jul 2024 09:10:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 05:07:34.778242
• Title: Latent Dataset Distillation with Diffusion Models
• Title（参考訳）: 拡散モデルを用いた潜在データセット蒸留
• Authors: Brian B. Moser, Federico Raue, Sebastian Palacio, Stanislav Frolov, Andreas Dengel,
• Abstract要約: 本稿では,拡散モデルを用いた潜在データセット蒸留(LD3M)を提案する。 我々の新しい拡散過程は, この課題に適しており, 蒸留の勾配流を著しく改善する。 LD3Mは、クラスごとに1つの画像に対して最大4.8 p.p.と4.2 p.p.を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 9.398135472047132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning traditionally relies on increasingly larger datasets. Yet, such datasets pose major storage challenges and usually contain non-influential samples, which could be ignored during training without negatively impacting the training quality. In response, the idea of distilling a dataset into a condensed set of synthetic samples, i.e., a distilled dataset, emerged. One key aspect is the selected architecture, usually ConvNet, for linking the original and synthetic datasets. However, the final accuracy is lower if the employed model architecture differs from that used during distillation. Another challenge is the generation of high-resolution images (128x128 and higher). To address both challenges, this paper proposes Latent Dataset Distillation with Diffusion Models (LD3M) that combine diffusion in latent space with dataset distillation. Our novel diffusion process is tailored for this task and significantly improves the gradient flow for distillation. By adjusting the number of diffusion steps, LD3M also offers a convenient way of controlling the trade-off between distillation speed and dataset quality. Overall, LD3M consistently outperforms state-of-the-art methods by up to 4.8 p.p. and 4.2 p.p. for 1 and 10 images per class, respectively, and on several ImageNet subsets and high resolutions (128x128 and 256x256).
• Abstract（参考訳）: 機械学習は伝統的に、ますます大きなデータセットに依存している。 しかし、そのようなデータセットには大きなストレージ上の課題があり、通常は非インフルエンシャルなサンプルが含まれているため、トレーニング品質に悪影響を及ぼすことなく、トレーニング中に無視することができる。 これに応えて、データセットを凝縮した合成サンプル、すなわち蒸留データセットに蒸留するというアイデアが生まれた。 重要な側面の1つは、選択されたアーキテクチャ(通常はConvNet)で、元のデータセットと合成データセットをリンクする。 しかし, 使用済みモデルアーキテクチャが蒸留時に使用するものと異なる場合, 最終的な精度は低下する。 もうひとつの課題は、高解像度画像(128x128以上)の生成である。 両課題に対処するため,潜在空間における拡散とデータセットの蒸留を組み合わせたLD3M(Latent Dataset Distillation with Diffusion Models)を提案する。 我々の新しい拡散過程は, この課題に適しており, 蒸留の勾配流を著しく改善する。 拡散段数を調整することで、LD3Mは蒸留速度とデータセットの品質のトレードオフを制御する便利な方法も提供する。 LD3Mは、クラスごとに1つの画像と10個の画像に対して、それぞれ4.8 p.p.と4.2 p.p.と、いくつかのImageNetサブセットと高解像度(128x128と256x256)で、最先端の手法を一貫して上回っている。

関連論文リスト

• Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
  本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。 提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
  論文  参考訳（メタデータ） (2024-11-19T20:10:28Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
  本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。 提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
  論文  参考訳（メタデータ） (2024-03-11T20:23:59Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• DiM: Distilling Dataset into Generative Model [42.32433831074992]
  そこで我々は,大列車のtextbfinto 生成textbfModels の textbfDistill 情報に対する新しい蒸留手法を提案する。 蒸留段階では,実画像と生成画像のモデルプールによって予測されるロジットの差を最小限に抑える。 展開段階では、生成モデルはハエのランダムノイズから様々なトレーニングサンプルを合成する。
  論文  参考訳（メタデータ） (2023-03-08T16:48:24Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。