論文の概要: Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?

• arxiv url: http://arxiv.org/abs/2606.18209v1
• Date: Tue, 16 Jun 2026 17:37:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.584549
• Title: Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?
• Title（参考訳）: 分類のためのデータセット蒸留の再考:蒸留されたデータセットはコアセットより優れているか?
• Authors: Trisha Mittal, Akshay Mehra, Joshua Kimball,
• Abstract要約: 我々は、ImageNet-1K, ImageNet100, ImageNetteの7つの最先端(SOTA)DD手法をベンチマークした。 その結果,いくつかのDD手法は単純な乱数部分集合よりも優れているが,SOTA DDアプローチは大規模データセットのコアセットと同等か劣っていることがわかった。
• 参考スコア（独自算出の注目度）: 6.754384915301995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation (DD) has emerged as a prominent approach in data centric machine learning, aiming to synthesize compact training sets for efficient training by compressing the information in large datasets into a small number of synthetic samples. However, DD methods are often evaluated under inconsistent evaluation protocols, ranging from standard ERM to single/multi-teacher supervision, making it difficult to isolate the effectiveness of distilled data from evaluation. Moreover, many prior methods claim that DD outperforms data pruning approaches such as coreset selection (CS), based on the assumption that restricting condensed datasets to subsets of real samples fundamentally limits their expressiveness. In this work, we critically evaluate DD methods through large-scale experiments using standardized datasets and evaluation protocols to assess their intrinsic effectiveness. We benchmark seven state-of-the-art (SOTA) DD methods on ImageNet-1K, ImageNet100, and ImageNette, using three widely adopted training protocols against three CS strategies. Our results show that while some DD methods fail to outperform even simple random subsets, the SOTA DD approaches are comparable to or worse than coresets on large-scale datasets and incur a substantially higher cost for construction. Beyond accuracy, we also evaluate the representativeness, diversity, and quality of condensed sets, and find that coresets consistently achieve better coverage of the original data distribution. These findings highlight the limited practical advantages of current DD methods and show that coresets remain competitive and are often a more computationally efficient alternative for data-centric learning.
• Abstract（参考訳）: データセット蒸留(DD)は、大規模なデータセットの情報を少数の合成サンプルに圧縮することで、効率的なトレーニングのためにコンパクトなトレーニングセットを合成することを目的として、データ中心機械学習において顕著なアプローチとして登場した。 しかし, DD法は, 標準EMMからシングル/マルチ教師管理まで, 不整合評価プロトコルの下で評価されることが多く, 蒸留データの有効性を評価から分離することが困難である。 さらに、DDは実サンプルのサブセットに凝縮したデータセットを制限するという仮定に基づいて、コアセット選択(CS)のようなデータプルーニングアプローチよりも優れていると主張している。 本研究では,標準化されたデータセットと評価プロトコルを用いて大規模実験によりDD法を批判的に評価し,本質的な効果を評価する。 我々は,3つのCS戦略に対して広く採用されている3つのトレーニングプロトコルを用いて,ImageNet-1K, ImageNet100, ImageNetteの7つの最先端(SOTA)DD手法をベンチマークした。 以上の結果から,いくつかのDD手法は単純な乱数部分集合よりも優れていないが,SOTA DD手法は大規模データセットのコアセットと同等か劣っていることが示唆された。 精度を超えて、凝縮集合の代表性、多様性、品質も評価し、コアセットが元のデータ分布のより良いカバレッジを一貫して達成していることを見出した。 これらの知見は、現在のDD手法の限られた実用上の利点を浮き彫りにして、コアセットが競争力を維持し、しばしばデータ中心学習のより効率的な代替手段であることを示す。

関連論文リスト

• Rethinking Dataset Distillation: Hard Truths about Soft Labels [24.157901502576394]
  SLとSL+KDの双方において、高品質コアセットがランダムベースラインを確実に上回らないことを示す。 この性能飽和度は,モデル評価にソフトラベルを用いることの広範な実践に疑問を呈する。 CAD-Pruneは、与えられた計算予算に対して最適な困難サンプルを効率的に識別する計算対応プルーニング指標である。
  論文  参考訳（メタデータ） (2026-04-20T20:29:09Z)
• CoDA: From Text-to-Image Diffusion Models to Training-Free Dataset Distillation [71.52209438343928]
  コア分散アライメント(Core Distribution Alignment, CoDA)は、市販のテキスト・ツー・イメージモデルのみを使用して効果的な蒸留(DD)を可能にするフレームワークである。 私たちのキーとなるアイデアは、まず、ロバストな密度ベースの発見メカニズムを使用して、ターゲットデータセットの"固有のコア分布"を識別することです。 そうすることで、CoDAは汎用的な生成先行とターゲットセマンティクスのギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2025-12-03T14:45:57Z)
• Rectified Decoupled Dataset Distillation: A Closer Look for Fair and Comprehensive Evaluation [36.444254126901065]
  本稿では,コンパクトな合成データセットを生成するために,Rectified Decoupled dataset Distillation (RD$3$)を提案する。 RD$3$は、将来のデータセット蒸留研究における公正かつ再現可能な比較の基礎を提供する。
  論文  参考訳（メタデータ） (2025-09-24T03:47:04Z)
• The Quest for Efficient Reasoning: A Data-Centric Benchmark to CoT Distillation [37.38634940034755]
  本稿では,チェーン・オブ・ソート(CoT)蒸留におけるデータ操作を調査する最初のデータ中心型ベンチマークであるDC-CoTを紹介する。 我々は、これらのデータ操作が複数の推論データセットの学生モデル性能に与える影響を厳格に評価する。
  論文  参考訳（メタデータ） (2025-05-24T15:54:19Z)
• DD-Ranking: Rethinking the Evaluation of Dataset Distillation [314.9621366437238]
  本稿では,統合評価フレームワークであるDD-Rankingと,異なる手法によって達成された真の性能改善を明らかにするための新しい総合評価指標を提案する。 DD-Rankingは、蒸留データセットの実際の情報強化に再焦点をあてることで、将来の研究の進展に対してより包括的で公正な評価基準を提供する。
  論文  参考訳（メタデータ） (2025-05-19T16:19:50Z)
• Adaptive Dataset Quantization [2.0105434963031463]
  適応データセット量子化(ADQ)という,データセット圧縮のための汎用フレームワークを導入する。 本稿では,生成したビンの代表性スコア,多様性スコア,重要度スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。 提案手法は, 異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく, 各種データセットにおいてDQを平均3%越えて, 最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-12-22T07:08:29Z)
• Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
  我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。 次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
  論文  参考訳（メタデータ） (2024-08-22T15:20:32Z)
• Towards Efficient Deep Hashing Retrieval: Condensing Your Data via Feature-Embedding Matching [5.2193774924981176]
  複雑な最適化と大規模なデータセットのため、高度な深層ハッシュモデルのトレーニングが高価になっている。 IEM(Information-intensive feature Embedding Matching, 情報集約型特徴埋め込みマッチング)を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。