論文の概要: Efficient Dataset Distillation via Diffusion-Driven Patch Selection for Improved Generalization

• arxiv url: http://arxiv.org/abs/2412.09959v2
• Date: Wed, 19 Feb 2025 16:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:56:17.613648
• Title: Efficient Dataset Distillation via Diffusion-Driven Patch Selection for Improved Generalization
• Title（参考訳）: 一般化のための拡散駆動型パッチ選択による効率的なデータセット蒸留
• Authors: Xinhao Zhong, Shuoyang Sun, Xulin Gu, Zhaoyang Xu, Yaowei Wang, Jianlong Wu, Bin Chen,
• Abstract要約: 本稿では, 既存の拡散式蒸留法に対する新しい枠組みを提案し, 生成ではなく拡散モデルを用いて選択する。 提案手法は,入力画像とテキストプロンプトに基づいて拡散モデルから発生するノイズを予測し,各ペアの損失を算出する。 この合理化フレームワークは単一段階の蒸留プロセスを実現するとともに,我々の手法が様々なメトリクスにわたって最先端の手法より優れていることを示す広範な実験を行った。
• 参考スコア（独自算出の注目度）: 34.79567392368196
• License:
• Abstract: Dataset distillation offers an efficient way to reduce memory and computational costs by optimizing a smaller dataset with performance comparable to the full-scale original. However, for large datasets and complex deep networks (e.g., ImageNet-1K with ResNet-101), the extensive optimization space limits performance, reducing its practicality. Recent approaches employ pre-trained diffusion models to generate informative images directly, avoiding pixel-level optimization and achieving notable results. However, these methods often face challenges due to distribution shifts between pre-trained models and target datasets, along with the need for multiple distillation steps across varying settings. To address these issues, we propose a novel framework orthogonal to existing diffusion-based distillation methods, leveraging diffusion models for selection rather than generation. Our method starts by predicting noise generated by the diffusion model based on input images and text prompts (with or without label text), then calculates the corresponding loss for each pair. With the loss differences, we identify distinctive regions of the original images. Additionally, we perform intra-class clustering and ranking on selected patches to maintain diversity constraints. This streamlined framework enables a single-step distillation process, and extensive experiments demonstrate that our approach outperforms state-of-the-art methods across various metrics.
• Abstract（参考訳）: データセット蒸留は、より小さなデータセットをフルスケールのオリジナルに匹敵するパフォーマンスで最適化することで、メモリと計算コストを効率的に削減する方法を提供する。 しかし、大規模なデータセットや複雑なディープネットワーク(例えば、ImageNet-1KとResNet-101)では、広範な最適化スペースが性能を制限し、実用性が低下する。 近年のアプローチでは、事前学習した拡散モデルを用いて情報画像を直接生成し、画素レベルの最適化を回避し、顕著な結果を得る。 しかしながら、これらの手法は、事前訓練されたモデルとターゲットデータセット間の分散シフトと、さまざまな設定にまたがる複数の蒸留ステップの必要性により、しばしば課題に直面する。 これらの問題に対処するために, 既存の拡散式蒸留法に直交する新しい枠組みを提案する。 提案手法は,入力画像とテキストプロンプト(ラベルテキストの有無に関わらず)に基づいて拡散モデルが生成するノイズを予測し,それぞれに対応する損失を算出する。 損失差により、原画像の特徴的な領域を識別する。 さらに、クラス内のクラスタリングや、選択したパッチのランク付けを行い、多様性の制約を維持する。 この合理化フレームワークは単一段階の蒸留プロセスを実現するとともに,提案手法が様々な指標において最先端の手法より優れていることを示す広範な実験を行った。

関連論文リスト

• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Rethinking Score Distillation as a Bridge Between Image Distributions [97.27476302077545]
  提案手法は, 劣化した画像(ソース)を自然画像分布(ターゲット)に転送することを目的としている。 本手法は,複数の領域にまたがって容易に適用可能であり,特殊な手法の性能のマッチングや評価を行うことができる。 テキストから2D、テキストベースのNeRF最適化、絵画を実画像に変換すること、光学錯視生成、および3Dスケッチから実画像に変換することにおいて、その実用性を実証する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
  本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。 提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
  論文  参考訳（メタデータ） (2024-03-11T20:23:59Z)
• Efficient Dataset Distillation via Minimax Diffusion [24.805804922949832]
  本稿では,これらの基準を対象とする拡散過程の柔軟性を示す階層的拡散制御として,プロセスの理論モデルを提案する。 ImageWoofの100-IPC設定では,従来手法の蒸留時間は20分の1以下であったが,性能は向上した。
  論文  参考訳（メタデータ） (2023-11-27T04:22:48Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• DREAM: Efficient Dataset Distillation by Representative Matching [38.92087223000823]
  textbfREpresenttextbfAtive textbfMatching (DREAM) による textbfDataset 蒸留と呼ばれる新しいマッチング手法を提案する。 DREAMは、一般的なデータセット蒸留フレームワークに簡単にプラグインでき、性能低下なしに蒸留イテレーションを8回以上減らすことができる。
  論文  参考訳（メタデータ） (2023-02-28T08:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。