論文の概要: Generalizing Dataset Distillation via Deep Generative Prior

• arxiv url: http://arxiv.org/abs/2305.01649v2
• Date: Wed, 3 May 2023 20:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 11:46:14.271034
• Title: Generalizing Dataset Distillation via Deep Generative Prior
• Title（参考訳）: 深部生成前処理によるデータセット蒸留の一般化
• Authors: George Cazenavette and Tongzhou Wang and Antonio Torralba and Alexei A. Efros and Jun-Yan Zhu
• Abstract要約: 本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 75.9031209877651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset Distillation aims to distill an entire dataset's knowledge into a few synthetic images. The idea is to synthesize a small number of synthetic data points that, when given to a learning algorithm as training data, result in a model approximating one trained on the original data. Despite recent progress in the field, existing dataset distillation methods fail to generalize to new architectures and scale to high-resolution datasets. To overcome the above issues, we propose to use the learned prior from pre-trained deep generative models to synthesize the distilled data. To achieve this, we present a new optimization algorithm that distills a large number of images into a few intermediate feature vectors in the generative model's latent space. Our method augments existing techniques, significantly improving cross-architecture generalization in all settings.
• Abstract（参考訳）: Dataset Distillationは、データセット全体の知識をいくつかの合成画像に抽出することを目的としている。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成することで、元のデータに基づいてトレーニングされたデータを近似するモデルを実現する。 この分野の最近の進歩にもかかわらず、既存のデータセット蒸留法は新しいアーキテクチャに一般化できず、高解像度データセットにスケールする。 以上の課題を克服するために,事前学習した深部生成モデルを用いて蒸留データを合成することを提案する。 そこで本研究では,生成モデルの潜在空間において,多数の画像を少数の中間特徴ベクトルに蒸留する新しい最適化アルゴリズムを提案する。 提案手法は既存の手法を改良し,アーキテクチャ間の一般化を大幅に改善する。

関連論文リスト

• Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
  本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。 提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
  論文  参考訳（メタデータ） (2024-11-19T20:10:28Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Generative Dataset Distillation: Balancing Global Structure and Local Details [49.20086587208214]
  グローバルな構造と局所的な詳細のバランスを考慮に入れた新しいデータセット蒸留法を提案する。 本手法では, 条件付き生成逆数ネットワークを用いて蒸留したデータセットを生成する。
  論文  参考訳（メタデータ） (2024-04-26T23:46:10Z)
• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
  本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。 提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
  論文  参考訳（メタデータ） (2024-03-11T20:23:59Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Dataset Distillation using Neural Feature Regression [32.53291298089172]
  ニューラル・フィーチャー・レグレッション・アンド・プール(FRePo)を用いたデータセット蒸留アルゴリズムを開発した。 FRePoは、メモリ要件を桁違いに少なくし、以前の方法よりも2桁高速なトレーニングで最先端のパフォーマンスを実現している。 我々は,高品質な蒸留データにより,連続学習や会員推測防衛など,下流の様々な応用を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-01T19:02:06Z)
• Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation [77.34726150561087]
  本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。 近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T11:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。