論文の概要: Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality

• arxiv url: http://arxiv.org/abs/2310.06982v1
• Date: Tue, 10 Oct 2023 20:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 01:15:01.435415
• Title: Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality
• Title（参考訳）: データ蒸留はvodkaに似ている:より良い品質のためにより多くの時間を蒸留する
• Authors: Xuxi Chen, Yu Yang, Zhangyang Wang, Baharan Mirzasoleiman
• Abstract要約: 蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 78.6359306550245
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dataset distillation aims to minimize the time and memory needed for training deep networks on large datasets, by creating a small set of synthetic images that has a similar generalization performance to that of the full dataset. However, current dataset distillation techniques fall short, showing a notable performance gap when compared to training on the original data. In this work, we are the first to argue that using just one synthetic subset for distillation will not yield optimal generalization performance. This is because the training dynamics of deep networks drastically change during the training. Hence, multiple synthetic subsets are required to capture the training dynamics at different phases of training. To address this issue, we propose Progressive Dataset Distillation (PDD). PDD synthesizes multiple small sets of synthetic images, each conditioned on the previous sets, and trains the model on the cumulative union of these subsets without requiring additional training time. Our extensive experiments show that PDD can effectively improve the performance of existing dataset distillation methods by up to 4.3%. In addition, our method for the first time enable generating considerably larger synthetic datasets.
• Abstract（参考訳）: データセット蒸留(dataset distillation)は、大規模なデータセット上でディープネットワークをトレーニングするために必要な時間とメモリを最小化することを目的としている。 しかし、現在のデータセット蒸留技術は不足しており、元のデータのトレーニングと比較すると顕著な性能差を示している。 本研究では、蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られないと主張する。 これは、深層ネットワークのトレーニングダイナミクスがトレーニング中に大きく変化するためである。 したがって、トレーニングの異なるフェーズでトレーニングダイナミクスをキャプチャするために、複数の合成サブセットが必要である。 この問題に対処するため,プログレッシブデータセット蒸留(PDD)を提案する。 pddは、前のセットで条件付けされた複数の小さな合成イメージを合成し、追加のトレーニング時間なしでこれらのサブセットの累積結合上でモデルを訓練する。 広範な実験により,pddは既存のデータセット蒸留法の性能を最大4.3%向上できることを示した。 また,本手法は初めて,はるかに大きな合成データセットを生成することができる。

関連論文リスト

• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Towards Lossless Dataset Distillation via Difficulty-Aligned Trajectory Matching [19.8751746334929]
  合成データセットのサイズが大きくなるにつれて有効なアルゴリズムを提案する。 実験により, 一致する軌道の訓練段階が, 蒸留データセットの有効性に大きく影響していることが判明した。 そこで我々は,軌道マッチングに基づく手法を大規模合成データセットに拡張することに成功している。
  論文  参考訳（メタデータ） (2023-10-09T14:57:41Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Accelerating Dataset Distillation via Model Augmentation [41.3027484667024]
  本研究では,初期モデルとパラメータを用いた2つのモデル拡張手法を提案し,学習コストを大幅に削減した情報合成集合を学習する。 提案手法は,最先端の手法と同等の性能で,最大20倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-12-12T07:36:05Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。