論文の概要: CoDA: From Text-to-Image Diffusion Models to Training-Free Dataset Distillation

• arxiv url: http://arxiv.org/abs/2512.03844v1
• Date: Wed, 03 Dec 2025 14:45:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:00:35.134274
• Title: CoDA: From Text-to-Image Diffusion Models to Training-Free Dataset Distillation
• Title（参考訳）: CoDA:テキストから画像への拡散モデルからトレーニング不要なデータセット蒸留へ
• Authors: Letian Zhou, Songhua Liu, Xinchao Wang,
• Abstract要約: コア分散アライメント(Core Distribution Alignment, CoDA)は、市販のテキスト・ツー・イメージモデルのみを使用して効果的な蒸留(DD)を可能にするフレームワークである。 私たちのキーとなるアイデアは、まず、ロバストな密度ベースの発見メカニズムを使用して、ターゲットデータセットの"固有のコア分布"を識別することです。 そうすることで、CoDAは汎用的な生成先行とターゲットセマンティクスのギャップを効果的に埋める。
• 参考スコア（独自算出の注目度）: 71.52209438343928
• License:
• Abstract: Prevailing Dataset Distillation (DD) methods leveraging generative models confront two fundamental limitations. First, despite pioneering the use of diffusion models in DD and delivering impressive performance, the vast majority of approaches paradoxically require a diffusion model pre-trained on the full target dataset, undermining the very purpose of DD and incurring prohibitive training costs. Second, although some methods turn to general text-to-image models without relying on such target-specific training, they suffer from a significant distributional mismatch, as the web-scale priors encapsulated in these foundation models fail to faithfully capture the target-specific semantics, leading to suboptimal performance. To tackle these challenges, we propose Core Distribution Alignment (CoDA), a framework that enables effective DD using only an off-the-shelf text-to-image model. Our key idea is to first identify the "intrinsic core distribution" of the target dataset using a robust density-based discovery mechanism. We then steer the generative process to align the generated samples with this core distribution. By doing so, CoDA effectively bridges the gap between general-purpose generative priors and target semantics, yielding highly representative distilled datasets. Extensive experiments suggest that, without relying on a generative model specifically trained on the target dataset, CoDA achieves performance on par with or even superior to previous methods with such reliance across all benchmarks, including ImageNet-1K and its subsets. Notably, it establishes a new state-of-the-art accuracy of 60.4% at the 50-images-per-class (IPC) setup on ImageNet-1K. Our code is available on the project webpage: https://github.com/zzzlt422/CoDA
• Abstract（参考訳）: 生成モデルを利用した一般的なデータセット蒸留(DD)手法は、2つの基本的な制限に直面している。 第一に、DDにおける拡散モデルの使用の先駆者であり、優れたパフォーマンスを提供するにもかかわらず、大部分のアプローチはパラドックス的に完全なターゲットデータセットで事前訓練された拡散モデルを必要とし、DDの目的を損なうとともに、禁止的なトレーニングコストを発生させる。 第二に、そのようなターゲット固有の訓練を頼らずに一般的なテキスト・ツー・イメージモデルに転換する手法もあるが、これらの基礎モデルにカプセル化されたウェブスケールの先行モデルは、ターゲット固有のセマンティクスを忠実に捉えず、最適なパフォーマンスをもたらすため、大きな分散ミスマッチに悩まされる。 これらの課題に対処するために,市販のテキスト・ツー・イメージモデルのみを用いて効果的なDDを実現するフレームワークであるCore Distribution Alignment (CoDA)を提案する。 私たちのキーとなるアイデアは、まず、ロバストな密度ベースの発見メカニズムを使用して、ターゲットデータセットの"固有のコア分布"を識別することです。 次に、生成過程を操り、生成したサンプルをこのコア分布に整合させる。 そうすることで、CoDAは汎用的な生成先行とターゲットセマンティクスのギャップを効果的に橋渡しし、非常に代表的な蒸留データセットを生成する。 大規模な実験は、ターゲットデータセットに特化してトレーニングされた生成モデルに頼ることなく、ImageNet-1Kとそのサブセットを含むすべてのベンチマークで、従来のメソッドと同等か、それ以上のパフォーマンスを達成することを示唆している。 特に、ImageNet-1K上の50-images-per-class (IPC)セットアップにおいて、新しい最先端の精度を60.4%に設定している。 私たちのコードはプロジェクトのWebページで利用可能です。

関連論文リスト

• Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations [2.992602379681373]
  マルチモーダル微調整により,OoDDの性能が向上することを示す。 本稿では,IDデータの画像とテキストの埋め込み距離を正規化することにより,モーダルアライメントを向上させる訓練目標を提案する。
  論文  参考訳（メタデータ） (2025-03-24T16:00:21Z)
• Efficient Dataset Distillation via Diffusion-Driven Patch Selection for Improved Generalization [34.53986517177061]
  本稿では, 既存の拡散式蒸留法に対する新しい枠組みを提案し, 生成ではなく拡散モデルを用いて選択する。 提案手法は,入力画像とテキストプロンプトに基づいて拡散モデルから発生するノイズを予測し,各ペアの損失を算出する。 この合理化フレームワークは単一段階の蒸留プロセスを実現するとともに,我々の手法が様々なメトリクスにわたって最先端の手法より優れていることを示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-12-13T08:34:46Z)
• Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
  データセットプルーニングの観点から,効率的な拡散訓練について検討する。 GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。 生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
  論文  参考訳（メタデータ） (2024-09-27T20:21:19Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Back to the Source: Diffusion-Driven Test-Time Adaptation [77.4229736436935]
  テスト時間適応はテスト入力を利用し、シフトしたターゲットデータ上でテストした場合、ソースデータに基づいてトレーニングされたモデルの精度を向上させる。 代わりに、生成拡散モデルを用いて、すべてのテスト入力をソース領域に向けて投影することで、ターゲットデータを更新する。
  論文  参考訳（メタデータ） (2022-07-07T17:14:10Z)
• Distill and Fine-tune: Effective Adaptation from a Black-box Source Model [138.12678159620248]
  Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。 Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-04T05:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。