論文の概要: Accelerating Large-Scale Dataset Distillation via Exploration-Exploitation Optimization

• arxiv url: http://arxiv.org/abs/2602.15277v2
• Date: Thu, 19 Feb 2026 18:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-20 15:21:28.201478
• Title: Accelerating Large-Scale Dataset Distillation via Exploration-Exploitation Optimization
• Title（参考訳）: 探索-探索最適化による大規模データセット蒸留の高速化
• Authors: Muhammad J. Alahmadi, Peng Gao, Feiyi Wang, Dongkuan Xu,
• Abstract要約: 本稿では,冗長計算を最小化する簡易な方法であるExploration-Exploitation Distillation (E$2$D)を提案する。 大規模なベンチマークでE$2$Dを評価し、ImageNet-1Kの最先端を上回り、18倍の高速さで評価した。 これらの結果は, 大規模データセット蒸留における精度と効率のギャップを埋めるために, ブルートフォース最適化ではなく, 目標とする冗長性低減更新が重要であることを示した。
• 参考スコア（独自算出の注目度）: 20.112935166158135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation compresses the original data into compact synthetic datasets, reducing training time and storage while retaining model performance, enabling deployment under limited resources. Although recent decoupling-based distillation methods enable dataset distillation at large scale, they continue to face an efficiency gap: optimization-based decoupling methods achieve higher accuracy but demand intensive computation, whereas optimization-free decoupling methods are efficient but sacrifice accuracy. To overcome this trade-off, we propose Exploration--Exploitation Distillation (E$^2$D), a simple, practical method that minimizes redundant computation through an efficient pipeline that begins with full-image initialization to preserve semantic integrity and feature diversity. It then uses a two-phase optimization strategy: an exploration phase that performs uniform updates and identifies high-loss regions, and an exploitation phase that focuses updates on these regions to accelerate convergence. We evaluate E$^2$D on large-scale benchmarks, surpassing the state-of-the-art on ImageNet-1K while being $18\times$ faster, and on ImageNet-21K, our method substantially improves accuracy while remaining $4.3\times$ faster. These results demonstrate that targeted, redundancy-reducing updates, rather than brute-force optimization, bridge the gap between accuracy and efficiency in large-scale dataset distillation. Code is available at https://github.com/ncsu-dk-lab/E2D.
• Abstract（参考訳）: データセット蒸留は、オリジナルのデータをコンパクトな合成データセットに圧縮し、モデル性能を維持しながらトレーニング時間と保存時間を短縮し、限られたリソース下でのデプロイメントを可能にする。 最近のデカップリングに基づく蒸留法は大規模なデータセットの蒸留を可能にするが、最適化ベースのデカップリング法は高い精度を達成できるが、一方で最適化のないデカップリング法は効率的だが精度を犠牲にしている。 このトレードオフを克服するために,探索-膨張蒸留(E$^2$D)を提案する。これは,意味的整合性と特徴の多様性を維持するために,完全な初期化から始まる,効率的なパイプラインによる冗長計算を最小化する,シンプルで実用的な方法である。 次に、2段階最適化戦略として、一様更新を実行し、高損失領域を識別する探索フェーズと、これらの領域を集中して収束を加速するエクスプロイトフェーズを使用する。 我々は大規模なベンチマークでE$^2$Dを評価し、ImageNet-1Kの最先端よりも18\times$高速で、ImageNet-21Kでは4.3\times$高速で精度を大幅に向上させる。 これらの結果は, 大規模データセット蒸留における精度と効率のギャップを埋めるために, ブルートフォース最適化ではなく, 目標とする冗長性低減更新が重要であることを示した。 コードはhttps://github.com/ncsu-dk-lab/E2Dで入手できる。

関連論文リスト

• FADRM: Fast and Accurate Data Residual Matching for Dataset Distillation [21.910537847630067]
  残余接続は、モデルアーキテクチャレベルで広く研究され、広く応用されている。 データレシダルマッチングの概念を初めて導入し、データレベルのスキップ接続を活用してデータ生成を容易にし、データ情報の消滅を緩和する。
  論文  参考訳（メタデータ） (2025-06-30T17:59:34Z)
• Dataset Distillation as Pushforward Optimal Quantization [2.5892916589735457]
  そこで本研究では,実データ上での学習に類似した性能を,桁違いに少ない計算量で実現した合成トレーニングセットを提案する。 特に、既存の非絡み合ったデータセット蒸留法を古典的最適量子化とワッサーシュタインのバリセンタ問題にリンクする。 我々は,ImageNet-1Kデータセットの性能向上とモデル間一般化を,より簡単な追加計算で実現し,より高階のイメージ・パー・クラス・セッティングにおけるSOTA性能を向上する。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Generative Dataset Distillation Based on Self-knowledge Distillation [49.20086587208214]
  本稿では,予測ロジットの整列精度を向上させる新しい生成データセット蒸留法を提案する。 本手法は, 合成データと原データとのより正確な分布マッチングを実現するために, 自己知識蒸留を統合したものである。 提案手法は, 既存の最先端手法より優れており, 蒸留性能が良好である。
  論文  参考訳（メタデータ） (2025-01-08T00:43:31Z)
• Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation [44.03611131165989]
  階層型生成蒸留(H-PD)と呼ばれる新しい生成パラメータ化法を提案する。 提案したH-PDは、等価な時間消費で様々な設定で大幅な性能向上を実現している。 IPC=1, IPC=10の超過圧縮比下での拡散モデルを用いて, 現在の再生蒸留を超越している。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Dataset Distillation via Adversarial Prediction Matching [24.487950991247764]
  本稿では,データセットの蒸留問題を効率的に解くための逆フレームワークを提案する。 提案手法は,オリジナルデータセットの10%程度の大きさの合成データセットを生成できるが,全オリジナルデータセットでトレーニングしたモデルのテスト精度の94%を平均で達成できる。
  論文  参考訳（メタデータ） (2023-12-14T13:19:33Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。