論文の概要: Disentangled Embedding Optimization for Diffusion-Based Dataset Distillation
- arxiv url: http://arxiv.org/abs/2611.16224v1
- Date: Thu, 12 Nov 2026 03:18:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.349706
- Title: Disentangled Embedding Optimization for Diffusion-Based Dataset Distillation
- Title(参考訳): 拡散型データセット蒸留における遠絡型埋め込み最適化
- Abstract要約: 近年の進歩は、拡散モデルが強い生成能力のため、このタスクに非常に効果的であることを示している。
静的クラスタリングをトレーニング可能な埋め込みに置き換えるフレームワークであるDisentangled Embedding Optimization (DEO)を提案する。
提案したDECは,既存のクラスタベース拡散法よりも,より多様化し,代表的な蒸留データを生成することができる。
- 参考スコア(独自算出の注目度): 18.97283711722589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dataset distillation aims to compress large-scale datasets into compact synthetic subsets that enable efficient model training with comparable performance to the original data. Recent advances show that diffusion models are highly effective for this task due to their strong generative capability. Existing diffusion-based approaches typically perform class-wise clustering and use the obtained cluster prototypes as diffusion inputs to generate distilled samples. However, the uniformly distributed original samples in a category inevitably lead to entanglement near cluster boundaries, pulling the cluster prototypes closer and reducing the inter-cluster separation. Consequently, the diffusion model receives overly similar latent inputs, resulting in synthetic data with limited diversity. To address this issue, we propose Disentangled Embedding Optimization (DEO), a simple yet effective framework that replaces static clustering with trainable embeddings. These embeddings are optimized to match the Gaussian statistics (i.e., mean and covariance) of the original data distribution, while a diversity regularizer is designed to encourage separation among these embeddings to improve the intra-class variability. Extensive experiments demonstrate that our proposed DEO can generate more diversified and representative distilled data than existing cluster-based diffusion methods, achieving state-of-the-art performance and superior generalization across multiple datasets.
- Abstract(参考訳): データセット蒸留は、大規模なデータセットをコンパクトな合成サブセットに圧縮することを目的としており、元のデータに匹敵するパフォーマンスで効率的なモデルトレーニングを可能にする。
近年の進歩は、拡散モデルが強い生成能力のため、このタスクに非常に効果的であることを示している。
既存の拡散に基づくアプローチは通常、クラスワイドクラスタリングを行い、得られたクラスタープロトタイプを拡散入力として使用して蒸留サンプルを生成する。
しかし、一様に分散された元のサンプルは、必然的にクラスタ境界付近の絡み合いを引き起こし、クラスタのプロトタイプを接近させ、クラスタ間の分離を減らす。
その結果、拡散モデルは、過度に類似した潜伏入力を受け取り、その結果、限られた多様性を持つ合成データとなる。
この問題に対処するために,静的クラスタリングをトレーニング可能な埋め込みに置き換える,シンプルで効果的なフレームワークであるDisentangled Embedding Optimization (DEO)を提案する。
これらの埋め込みは、元のデータ分布のガウス統計(平均と共分散)に合わせるように最適化され、多様性正規化器は、これらの埋め込み間の分離を促進し、クラス内の変動性を改善するように設計されている。
大規模な実験により,提案したDECは,既存のクラスタベース拡散法よりも多種多様で代表的な蒸留データを生成することができ,最先端の性能を実現し,複数のデータセットにまたがる優れた一般化を実現できることが示された。
関連論文リスト
- Simplifying Flow Matching Transformations with Low-Rank Mixture Models [58.797704398690165]
本稿では,確率的主成分分析器(MPPCA)の混合物を流動の正規化のための潜在密度として用いることを提案する。
我々は,KL分散の観点でデータ分布とより密接に一致した潜在分布を学習することにより,学習フロー変換を単純化する。
MPPCAモデルは期待最大化アルゴリズムを用いて迅速かつ安価に適合し、高次元生成タスクにおいても潜在分布を初期化するための実用的な選択となる。
論文 参考訳(メタデータ) (2026-06-29T03:03:06Z) - Geometry-Aware Dataset Condensation for Diffusion Model Training [103.45641113998839]
幾何学的分布アライメント問題として,実部分集合選択を再構成することを提案する。
本手法は,一方的な部分的最適輸送を組み込むことで,コンパクトな部分集合を全データ分布に選択的に整列させる。
拡散変形, 部分集合サイズ, 画像解像度, 訓練ラウンドにおける実験により, 本手法が優れた忠実度と分布範囲を実現することを示す。
論文 参考訳(メタデータ) (2026-06-04T08:53:58Z) - IMS3: Breaking Distributional Aggregation in Diffusion-Based Dataset Distillation [41.83834685276882]
近年,拡散型データセット蒸留法は,拡散モデルの強い生成能力を活用し,多様で構造的に一貫した試料を生成することにより,大きな期待を抱いている。
Inversion-Matching (IM)は、インバージョン誘導による微調整プロセスを導入し、軌道をインバージョンと整列させ、分布範囲を広げ、多様性を高める。
Selective Subgroup Sampling(S3)は、クラス間分離性を改善するためのトレーニング不要なサンプリングメカニズムである。
論文 参考訳(メタデータ) (2026-03-14T14:15:03Z) - Diffusion Models as Dataset Distillation Priors [39.4727398182562]
本稿では,特徴空間における合成データと実データとの類似性を定量化し,代表性を定式化するAs Diffusion Priors (DAP)を提案する。
DAPは、高忠実度データセットを生成する上で、最先端の手法よりも優れています。
我々の研究は、拡散先行とデータセット蒸留の目的との理論的関係を確立する。
論文 参考訳(メタデータ) (2025-10-20T11:04:09Z) - Leveraging Diffusion Models for Synthetic Data Augmentation in Protein Subcellular Localization Classification [0.0]
ラベル一貫性を持つサンプルを生成するために,クラス条件記述拡散確率モデル(DDPM)を実装した。
私たちは、Mix LossとMix Representationという2つのハイブリッドトレーニング戦略を通じて、実際のデータとの統合を検討します。
本研究は, バイオメディカル画像分類に生成増強を取り入れた場合の, 現実的なデータ生成と堅牢な管理の重要性を浮き彫りにした。
論文 参考訳(メタデータ) (2025-05-28T22:58:50Z) - Diversity-Driven Generative Dataset Distillation Based on Diffusion Model with Self-Adaptive Memory [33.38900857290244]
この問題を解決するために,拡散モデルに基づく多様性駆動型生成データセット蒸留法を提案する。
蒸留されたデータセットと実際のデータセットの分布を一致させる自己適応メモリを導入し、代表性を評価する。
我々の手法は、ほとんどの状況で既存の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2025-05-26T03:48:56Z) - Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳(メタデータ) (2024-08-27T14:25:42Z) - Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2024-03-11T14:07:53Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Diffusing Gaussian Mixtures for Generating Categorical Data [21.43283907118157]
本稿では,高品質なサンプル生成に着目した拡散モデルに基づく分類データの生成モデルを提案する。
評価手法は、分類データを生成するための異なる生成モデルの能力と限界を強調した。
論文 参考訳(メタデータ) (2023-03-08T14:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。