論文の概要: Dataset Distillation via Drifting
- arxiv url: http://arxiv.org/abs/2611.16642v1
- Date: Thu, 12 Nov 2026 11:17:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.453604
- Title: Dataset Distillation via Drifting
- Title(参考訳): ドリフトによるデータセット蒸留
- Abstract要約: 本研究では,クラスごとのデータ分布を直接近似するようにサンプルの集合を学習する新しい蒸留法を提案する。
具体的には,我々の蒸留したデータを特徴抽出器の潜時空間に“ドリフト”し,実際のデータに向かって移動し,互いに離れて移動させる。
ドリフトデータの実際の分布は既存の手法よりもかなりよく、分類のための強力なトレーニングサンプルとして機能していることがわかった。
- 参考スコア(独自算出の注目度): 45.89558319943004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The task of dataset distillation concerns the learning of a small set of synthetic samples that can serve as an effective replacement for a large real dataset when used for downstream tasks. While many solutions have been proposed since the problem's inception, most of them primarily seek to optimize the distilled data with respect to a classifier. In this work, we propose a new distillation method that learns a set of samples such that they directly approximate the per-class data distribution. Specifically, we "drift" our distilled data in the latent space of a feature extractor such that they move both toward the real data and away from each other without using a classification objective. We find that our drifted data cover the real distribution significantly better than existing methods while still serving as powerful training samples for classification. Furthermore, we showcase our method's use as a visualization tool for better interpreting models and extend it beyond images to other modalities. Our work advances the frontier of dataset distillation, offering a novel synthesis method and proposing distribution-based metrics as a complementary evaluation. More broadly, our findings help address the growing need to understand both data and models by uncovering more about how they interact.
- Abstract(参考訳): データセット蒸留のタスクは、下流タスクに使用する場合、大きな実際のデータセットを効果的に置き換えることのできる、少数の合成サンプルの学習に関するものである。
問題の発端から多くの解が提案されているが、そのほとんどは、主に分類器に関する蒸留データを最適化しようと試みている。
本研究では,クラスごとのデータ分布を直接近似するようにサンプルの集合を学習する新しい蒸留法を提案する。
具体的には, 特徴抽出器の潜時空間における蒸留データを, 分類目的を使わずに, 実データへ移動し, 互いに遠ざかるように「ドリフト」する。
ドリフトデータの実際の分布は既存の手法よりもかなりよく、分類のための強力なトレーニングサンプルとして機能していることがわかった。
さらに、モデルをよりよく解釈し、画像を超えて他のモダリティに拡張するための可視化ツールとして、我々の手法を例示する。
我々の研究はデータセット蒸留のフロンティアを前進させ、新しい合成法を提供し、相補的な評価として分布に基づくメトリクスを提案する。
より広い範囲で、私たちの発見は、データとモデルの両方を理解する必要性の高まりに対処するために役立ちます。
関連論文リスト
- SAS: Semantic-aware Sampling for Generative Dataset Distillation [55.27114962330541]
本稿では,コントラスト言語-画像事前学習(CLIP)をポストサンプリングのセマンティクスとして活用することで,データセット蒸留のセマンティック・アウェア・パースペクティブを導入する。
我々のゴールは、コンパクトであるだけでなく、意味的にクラス差別的で多様である蒸留データセットを得ることです。
論文 参考訳(メタデータ) (2026-05-18T08:05:46Z) - Learnability-Guided Diffusion for Dataset Distillation [51.56484100374058]
本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。
本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。
提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。
論文 参考訳(メタデータ) (2026-04-01T06:04:59Z) - Dataset Distillation for Pre-Trained Self-Supervised Vision Models [43.50190223507616]
データセットの蒸留は、モデルのトレーニングが実際のサンプルのより大きなデータセットでトレーニングされた同じモデルのパフォーマンスを再現するような、小さな合成画像のセットを見つけることを目的としている。
線形勾配マッチング(Linear Gradient Matching)と呼ばれる課題に対して,データセットの蒸留法を導入する。
提案手法は,すべての実像ベースラインを上回り,事前学習された視覚モデルに対して顕著に一般化する合成データを生成する。
論文 参考訳(メタデータ) (2025-11-20T18:59:57Z) - Behaviour Distillation [10.437472004180883]
我々は、専門家ポリシーのトレーニングに必要な情報を合成データセットに発見・凝縮することを目的とした行動蒸留を定式化する。
次に,Halucinating datasets with Evolution Strategies (HaDES)を紹介した。
これらのデータセットは分散から多種多様なアーキテクチャでトレーニングポリシーへと一般化されていることを示す。
また、下流タスク、すなわちゼロショット方式でマルチタスクエージェントを訓練するアプリケーションの実演を行う。
論文 参考訳(メタデータ) (2024-06-21T10:45:43Z) - Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。
実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
論文 参考訳(メタデータ) (2024-03-25T19:15:19Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳(メタデータ) (2023-05-28T06:53:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。