論文の概要: Dataset Distillation via Adversarial Prediction Matching

• arxiv url: http://arxiv.org/abs/2312.08912v1
• Date: Thu, 14 Dec 2023 13:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:16:04.256062
• Title: Dataset Distillation via Adversarial Prediction Matching
• Title（参考訳）: 逆予測マッチングによるデータセット蒸留
• Authors: Mingyang Chen, Bo Huang, Junda Lu, Bing Li, Yi Wang, Minhao Cheng, Wei Wang
• Abstract要約: 本稿では,データセットの蒸留問題を効率的に解くための逆フレームワークを提案する。 提案手法は,オリジナルデータセットの10%程度の大きさの合成データセットを生成できるが,全オリジナルデータセットでトレーニングしたモデルのテスト精度の94%を平均で達成できる。
• 参考スコア（独自算出の注目度）: 24.487950991247764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation is the technique of synthesizing smaller condensed datasets from large original datasets while retaining necessary information to persist the effect. In this paper, we approach the dataset distillation problem from a novel perspective: we regard minimizing the prediction discrepancy on the real data distribution between models, which are respectively trained on the large original dataset and on the small distilled dataset, as a conduit for condensing information from the raw data into the distilled version. An adversarial framework is proposed to solve the problem efficiently. In contrast to existing distillation methods involving nested optimization or long-range gradient unrolling, our approach hinges on single-level optimization. This ensures the memory efficiency of our method and provides a flexible tradeoff between time and memory budgets, allowing us to distil ImageNet-1K using a minimum of only 6.5GB of GPU memory. Under the optimal tradeoff strategy, it requires only 2.5$\times$ less memory and 5$\times$ less runtime compared to the state-of-the-art. Empirically, our method can produce synthetic datasets just 10% the size of the original, yet achieve, on average, 94% of the test accuracy of models trained on the full original datasets including ImageNet-1K, significantly surpassing state-of-the-art. Additionally, extensive tests reveal that our distilled datasets excel in cross-architecture generalization capabilities.
• Abstract（参考訳）: データセット蒸留は、小さな凝縮データセットを大きな元のデータセットから合成し、効果を維持するために必要な情報を保持する技術である。 本稿では, 原データからの情報を蒸留版に凝縮するための導管として, 大容量の原データセットと小容量の蒸留データセットでそれぞれ訓練されたモデル間の実データ分布における予測誤差を最小化することを検討する。 この問題を効果的に解決するために, 敵対的枠組みを提案する。 ネスト最適化や長距離勾配展開を含む既存の蒸留法とは対照的に,本手法は単一レベル最適化に依拠している。 これにより、この方法のメモリ効率が保証され、時間とメモリ予算のフレキシブルなトレードオフが提供され、最小限の6.5gbのgpuメモリでimagenet-1kを無効にすることができます。 最適なトレードオフ戦略の下では、2.5$\times$のメモリと5$\times$のランタイムしか必要としない。 実験では,ImageNet-1Kを含む完全オリジナルデータセット上でトレーニングされたモデルのテスト精度の94%を平均して,元の10パーセントのサイズで合成データセットを生成することができる。 さらに, 蒸留したデータセットはクロスアーキテクチャの一般化能力に優れていた。

関連論文リスト

• Dataset Distillation as Pushforward Optimal Quantization [1.039189397779466]
  そこで本稿では,ImageNet-1Kデータセットの性能向上を目的とした,最先端データ蒸留法D4Mの簡易拡張を提案する。 エンコーダ・デコーダ構造を組み込んだ場合、実験的に成功した不整合法を最適な量子化問題として再定義できることを実証する。 特に, 既存の不整合データセット蒸留法を古典的最適量子化法とワッサーシュタインバリセンタ問題にリンクし, 拡散型生成前処理のための蒸留データセットの整合性を示す。
  論文  参考訳（メタデータ） (2025-01-13T20:41:52Z)
• Dataset Distillation via Committee Voting [21.018818924580877]
  我々は$bf C$ommittee $bf V$oting for $bf D$ataset $bf D$istillation (CV-DD)を紹介する。 CV-DDは、複数のモデルや専門家の集合知を利用して高品質な蒸留データセットを作成する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-01-13T18:59:48Z)
• Teddy: Efficient Large-Scale Dataset Distillation via Taylor-Approximated Matching [74.75248610868685]
  Teddyは、大規模なデータセットを扱うように設計されたTaylor近似データセット蒸留フレームワークである。 TeddyはTiny-ImageNetとオリジナルサイズのImageNet-1Kデータセット上で、最先端の効率性とパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-10T03:28:46Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Dataset Distillation using Neural Feature Regression [32.53291298089172]
  ニューラル・フィーチャー・レグレッション・アンド・プール(FRePo)を用いたデータセット蒸留アルゴリズムを開発した。 FRePoは、メモリ要件を桁違いに少なくし、以前の方法よりも2桁高速なトレーニングで最先端のパフォーマンスを実現している。 我々は,高品質な蒸留データにより,連続学習や会員推測防衛など,下流の様々な応用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T19:02:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。