論文の概要: Learnability-Guided Diffusion for Dataset Distillation

• arxiv url: http://arxiv.org/abs/2604.00519v1
• Date: Wed, 01 Apr 2026 06:04:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.861125
• Title: Learnability-Guided Diffusion for Dataset Distillation
• Title（参考訳）: データセット蒸留のための学習性誘導拡散
• Authors: Jeffrey A. Chan-Santiago, Mubarak Shah,
• Abstract要約: 本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。 本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。 提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training machine learning models on massive datasets is expensive and time-consuming. Dataset distillation addresses this by creating a small synthetic dataset that achieves the same performance as the full dataset. Recent methods use diffusion models to generate distilled data, either by promoting diversity or matching training gradients. However, existing approaches produce redundant training signals, where samples convey overlapping information. Empirically, disjoint subsets of distilled datasets capture 80-90% overlapping signals. This redundancy stems from optimizing visual diversity or average training dynamics without accounting for similarity across samples, leading to datasets where multiple samples share similar information rather than complementary knowledge. We propose learnability-driven dataset distillation, which constructs synthetic datasets incrementally through successive stages. Starting from a small set, we train a model and generate new samples guided by learnability scores that identify what the current model can learn from, creating an adaptive curriculum. We introduce Learnability-Guided Diffusion (LGD), which balances training utility for the current model with validity under a reference model to generate curriculum-aligned samples. Our approach reduces redundancy by 39.1%, promotes specialization across training stages, and achieves state-of-the-art results on ImageNet-1K (60.1%), ImageNette (87.2%), and ImageWoof (72.9%). Our code is available on our project page https://jachansantiago.github.io/learnability-guided-distillation/.
• Abstract（参考訳）: 大量のデータセット上で機械学習モデルをトレーニングするのは、高価で時間を要する。 データセットの蒸留は、完全なデータセットと同じパフォーマンスを達成する小さな合成データセットを作成することで、この問題に対処する。 近年, 拡散モデルを用いて蒸留データを生成する手法が提案されている。 しかし、既存の手法は重複する情報をサンプルが伝達する冗長な訓練信号を生成する。 実験的に、蒸留されたデータセットの解離部分集合は、80-90%の重なり合う信号をキャプチャする。 この冗長性は、サンプル間の類似性を考慮せずに、視覚的な多様性や平均的なトレーニングダイナミクスを最適化することに由来する。 本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。 小セットからモデルをトレーニングし、学習可能性スコアでガイドされた新しいサンプルを生成し、現在のモデルで何が学べるかを特定し、適応的なカリキュラムを作成する。 本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。 提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。 私たちのコードはプロジェクトのページhttps://jachansantiago.github.io/learnability-guided-distillation/で公開されています。

関連論文リスト

• Dataset Distillation for Pre-Trained Self-Supervised Vision Models [43.50190223507616]
  データセットの蒸留は、モデルのトレーニングが実際のサンプルのより大きなデータセットでトレーニングされた同じモデルのパフォーマンスを再現するような、小さな合成画像のセットを見つけることを目的としている。 線形勾配マッチング(Linear Gradient Matching)と呼ばれる課題に対して,データセットの蒸留法を導入する。 提案手法は,すべての実像ベースラインを上回り,事前学習された視覚モデルに対して顕著に一般化する合成データを生成する。
  論文  参考訳（メタデータ） (2025-11-20T18:59:57Z)
• Condensed Data Expansion Using Model Inversion for Knowledge Distillation [39.800536851433776]
  本稿では,モデルインバージョンを用いた縮合データセットの拡張手法を提案する。 凝縮したサンプルを補完する合成データを作成することにより、トレーニングセットを充実させ、基礎となるデータ分布をよりよく近似する。 本手法は, 凝縮データセットのみを用いた場合と比較して, KD精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-25T14:43:27Z)
• Generative Expansion of Small Datasets: An Expansive Graph Approach [13.053285552524052]
  最小限のサンプルから大規模で情報豊富なデータセットを生成する拡張合成モデルを提案する。 自己アテンション層と最適なトランスポートを持つオートエンコーダは、分散一貫性を洗練させる。 結果は同等のパフォーマンスを示し、モデルがトレーニングデータを効果的に増強する可能性を示している。
  論文  参考訳（メタデータ） (2024-06-25T02:59:02Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)
• Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation [28.874162427052905]
  本研究では, ランダムノイズ, 公開合成, 自然データセットなどの「任意移動集合」の有効性について検討する。 このデータセットが「ターゲットクラスのバランス」である場合、任意のデータを用いて知識蒸留を行うことによる驚くべき効果を見出す。
  論文  参考訳（メタデータ） (2020-11-18T06:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。