論文の概要: Diffusion-Augmented Coreset Expansion for Scalable Dataset Distillation

• arxiv url: http://arxiv.org/abs/2412.04668v1
• Date: Thu, 05 Dec 2024 23:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:29.178926
• Title: Diffusion-Augmented Coreset Expansion for Scalable Dataset Distillation
• Title（参考訳）: 拡張性データセット蒸留のための拡散強化コアセット拡張
• Authors: Ali Abbasi, Shima Imani, Chenyang An, Gayathri Mahalingam, Harsh Shrivastava, Maurice Diesendruck, Hamed Pirsiavash, Pramod Sharma, Soheil Kolouri,
• Abstract要約: そこで本研究では,データセット蒸留のための2段階の解法を提案する。 まず、最も情報性の高いパッチのみを選択して、コアセットを形成することでデータセットを圧縮する。 次に、この圧縮された集合をリアルタイムで動的に拡張するために、生成基礎モデルを活用する。 いくつかの大規模データセット蒸留ベンチマークでは,最先端技術と比較して10%以上の顕著な改善がみられた。
• 参考スコア（独自算出の注目度）: 18.474302012851087
• License:
• Abstract: With the rapid scaling of neural networks, data storage and communication demands have intensified. Dataset distillation has emerged as a promising solution, condensing information from extensive datasets into a compact set of synthetic samples by solving a bilevel optimization problem. However, current methods face challenges in computational efficiency, particularly with high-resolution data and complex architectures. Recently, knowledge-distillation-based dataset condensation approaches have made this process more computationally feasible. Yet, with the recent developments of generative foundation models, there is now an opportunity to achieve even greater compression, enhance the quality of distilled data, and introduce valuable diversity into the data representation. In this work, we propose a two-stage solution. First, we compress the dataset by selecting only the most informative patches to form a coreset. Next, we leverage a generative foundation model to dynamically expand this compressed set in real-time, enhancing the resolution of these patches and introducing controlled variability to the coreset. Our extensive experiments demonstrate the robustness and efficiency of our approach across a range of dataset distillation benchmarks. We demonstrate a significant improvement of over 10% compared to the state-of-the-art on several large-scale dataset distillation benchmarks. The code will be released soon.
• Abstract（参考訳）: ニューラルネットワークの急速なスケーリングにより、データストレージと通信要求が強化されている。 データセットの蒸留は有望な解決法として現れており、二段階最適化問題を解くことにより、広範囲なデータセットから情報をコンパクトな合成サンプル集合に凝縮する。 しかし、現在の手法は、特に高解像度のデータと複雑なアーキテクチャにおいて、計算効率の課題に直面している。 近年、知識蒸留に基づくデータセット凝縮法により、このプロセスはより計算可能になった。 しかし、最近の生成基盤モデルの発展により、さらに大きな圧縮を実現し、蒸留データの品質を高め、データ表現に価値ある多様性を導入する機会が生まれている。 本研究では,2段階の解法を提案する。 まず、最も情報性の高いパッチのみを選択して、コアセットを形成することでデータセットを圧縮する。 次に、生成基盤モデルを用いて、圧縮された集合を動的にリアルタイムに拡張し、これらのパッチの解像度を高め、コアセットに制御された可変性を導入する。 大規模な実験では, 様々なデータセット蒸留ベンチマークを用いて, アプローチの堅牢性と効率を実証した。 いくつかの大規模データセット蒸留ベンチマークにおいて,最先端技術と比較して10%以上の顕著な改善が示された。 コードはまもなくリリースされる。

関連論文リスト

• One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
  本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。 提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
  論文  参考訳（メタデータ） (2024-03-11T20:23:59Z)
• Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
  本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。 DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2024-03-11T14:07:53Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Towards Efficient Deep Hashing Retrieval: Condensing Your Data via Feature-Embedding Matching [7.908244841289913]
  最先端の深層ハッシュ検索モデルのトレーニングに要する費用は増加している。 最先端のデータセット蒸留法は、すべての深層ハッシュ検索法に拡張できない。 合成集合と実集合との特徴埋め込みをマッチングすることにより,これらの制約に対処する効率的な凝縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:23:55Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• A Comprehensive Survey of Dataset Distillation [73.15482472726555]
  限られた計算能力で無制限に成長するデータを扱うことは困難になっている。 ディープラーニング技術はこの10年で前例のない発展を遂げた。 本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
  論文  参考訳（メタデータ） (2023-01-13T15:11:38Z)
• Dataset Distillation via Factorization [58.8114016318593]
  既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。 emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。 提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-10-30T08:36:19Z)
• DC-BENCH: Dataset Condensation Benchmark [79.18718490863908]
  この研究は、データセットの凝縮に関する最初の大規模標準ベンチマークを提供する。 それは、凝縮法の生成可能性と有効性を包括的に反映する一連の評価から成り立っている。 ベンチマークライブラリは、将来の研究とアプリケーションを容易にするためにオープンソース化されている。
  論文  参考訳（メタデータ） (2022-07-20T03:54:05Z)
• Dataset Distillation using Neural Feature Regression [32.53291298089172]
  ニューラル・フィーチャー・レグレッション・アンド・プール(FRePo)を用いたデータセット蒸留アルゴリズムを開発した。 FRePoは、メモリ要件を桁違いに少なくし、以前の方法よりも2桁高速なトレーニングで最先端のパフォーマンスを実現している。 我々は,高品質な蒸留データにより,連続学習や会員推測防衛など,下流の様々な応用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T19:02:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。