論文の概要: Self-supervised Dataset Distillation: A Good Compression Is All You Need

• arxiv url: http://arxiv.org/abs/2404.07976v1
• Date: Thu, 11 Apr 2024 17:56:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 12:59:37.282882
• Title: Self-supervised Dataset Distillation: A Good Compression Is All You Need
• Title（参考訳）: 自己管理型データセット蒸留:良い圧縮は必要なだけ
• Authors: Muxin Zhou, Zeyuan Yin, Shitong Shao, Zhiqiang Shen,
• Abstract要約: SC-DDは, データセット蒸留のための簡易かつ効果的な自己教師圧縮フレームワークである。 提案したSC-DDは、より大規模なモデルを用いる場合、従来の最先端のデータセット蒸留法よりも優れている。 CIFAR-100, Tiny-ImageNet, ImageNet-1Kデータセットを用いて提案手法の優位性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 23.02066055996762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset distillation aims to compress information from a large-scale original dataset to a new compact dataset while striving to preserve the utmost degree of the original data informational essence. Previous studies have predominantly concentrated on aligning the intermediate statistics between the original and distilled data, such as weight trajectory, features, gradient, BatchNorm, etc. In this work, we consider addressing this task through the new lens of model informativeness in the compression stage on the original dataset pretraining. We observe that with the prior state-of-the-art SRe$^2$L, as model sizes increase, it becomes increasingly challenging for supervised pretrained models to recover learned information during data synthesis, as the channel-wise mean and variance inside the model are flatting and less informative. We further notice that larger variances in BN statistics from self-supervised models enable larger loss signals to update the recovered data by gradients, enjoying more informativeness during synthesis. Building on this observation, we introduce SC-DD, a simple yet effective Self-supervised Compression framework for Dataset Distillation that facilitates diverse information compression and recovery compared to traditional supervised learning schemes, further reaps the potential of large pretrained models with enhanced capabilities. Extensive experiments are conducted on CIFAR-100, Tiny-ImageNet and ImageNet-1K datasets to demonstrate the superiority of our proposed approach. The proposed SC-DD outperforms all previous state-of-the-art supervised dataset distillation methods when employing larger models, such as SRe$^2$L, MTT, TESLA, DC, CAFE, etc., by large margins under the same recovery and post-training budgets. Code is available at https://github.com/VILA-Lab/SRe2L/tree/main/SCDD/.
• Abstract（参考訳）: データセット蒸留は、大規模な元のデータセットから新しいコンパクトなデータセットに情報を圧縮し、元のデータ情報の本質の最大限の度合いを維持することを目的としている。 従来の研究は主に、重量軌道、特徴、勾配、バッチノームなど、オリジナルのデータと蒸留データの間の中間統計の整合に集中してきた。 本研究は,本研究において,従来のデータセット事前学習における圧縮段階におけるモデル情報化の新たなレンズを通して,この課題に対処することを検討する。 先行技術であるSRe$2$Lでは、モデルのサイズが大きくなるにつれて、教師付き事前学習モデルがデータ合成中に学習情報を復元することがますます困難になる。 さらに、自己教師付きモデルによるBN統計量の大きな分散により、より大きな損失信号がグラデーションによって回復したデータを更新し、合成中により情報に富むことを確認した。 SC-DDは,従来の教師付き学習方式に比べて多種多様な情報圧縮と回復を容易にし,拡張された機能を持つ大規模事前学習モデルの可能性をさらに享受する。 CIFAR-100, Tiny-ImageNet, ImageNet-1K を用いて,提案手法の優位性を示す実験を行った。 提案したSC-DDは, SRe$^2$L, MTT, TESLA, DC, CAFEなどの大型モデルを用いて, 同じ回収・訓練後の予算で, 従来の最先端のデータセット蒸留法よりも優れていた。 コードはhttps://github.com/VILA-Lab/SRe2L/tree/main/SCDD/で入手できる。

関連論文リスト

• CondTSF: One-line Plugin of Dataset Condensation for Time Series Forecasting [22.473436770730657]
  データセット凝縮の目的は、合成データセットでトレーニングされたモデルが、完全なデータセットでトレーニングされたモデルと互換性を持って動作できることを保証することである。 分類において、合成データは、全データセットで訓練されたモデルと合成データセットで訓練されたモデルが同じ入力に対して同一のラベルを生成する場合、よく蒸留されると考えられる。 TS予測において, 合成データ蒸留の有効性は, モデル間の距離によって決定される。
  論文  参考訳（メタデータ） (2024-06-04T09:18:20Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Dataset Distillation using Neural Feature Regression [32.53291298089172]
  ニューラル・フィーチャー・レグレッション・アンド・プール(FRePo)を用いたデータセット蒸留アルゴリズムを開発した。 FRePoは、メモリ要件を桁違いに少なくし、以前の方法よりも2桁高速なトレーニングで最先端のパフォーマンスを実現している。 我々は,高品質な蒸留データにより,連続学習や会員推測防衛など,下流の様々な応用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T19:02:06Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。