論文の概要: DiM: Distilling Dataset into Generative Model
- arxiv url: http://arxiv.org/abs/2303.04707v1
- Date: Wed, 8 Mar 2023 16:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 13:09:15.109530
- Title: DiM: Distilling Dataset into Generative Model
- Title（参考訳）: DiM: 生成モデルにデータセットを蒸留する
- Authors: Kai Wang, Jianyang Gu, Daquan Zhou, Zheng Zhu, Wei Jiang and Yang You
- Abstract要約: そこで我々は,大列車のtextbfinto 生成textbfModels の textbfDistill 情報に対する新しい蒸留手法を提案する。
蒸留段階では,実画像と生成画像のモデルプールによって予測されるロジットの差を最小限に抑える。
展開段階では、生成モデルはハエのランダムノイズから様々なトレーニングサンプルを合成する。
- 参考スコア（独自算出の注目度）: 25.509659304803144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dataset distillation reduces the network training cost by synthesizing small
and informative datasets from large-scale ones. Despite the success of the
recent dataset distillation algorithms, three drawbacks still limit their wider
application: i). the synthetic images perform poorly on large architectures;
ii). they need to be re-optimized when the distillation ratio changes; iii).
the limited diversity restricts the performance when the distillation ratio is
large. In this paper, we propose a novel distillation scheme to
\textbf{D}istill information of large train sets \textbf{i}nto generative
\textbf{M}odels, named DiM. Specifically, DiM learns to use a generative model
to store the information of the target dataset. During the distillation phase,
we minimize the differences in logits predicted by a models pool between real
and generated images. At the deployment stage, the generative model synthesizes
various training samples from random noises on the fly. Due to the simple yet
effective designs, the trained DiM can be directly applied to different
distillation ratios and large architectures without extra cost. We validate the
proposed DiM across 4 datasets and achieve state-of-the-art results on all of
them. To the best of our knowledge, we are the first to achieve higher accuracy
on complex architectures than simple ones, such as 75.1\% with ResNet-18 and
72.6\% with ConvNet-3 on ten images per class of CIFAR-10. Besides, DiM
outperforms previous methods with 10\% $\sim$ 22\% when images per class are 1
and 10 on the SVHN dataset.
- Abstract（参考訳）: データセット蒸留は、大規模データセットから小規模で有益なデータセットを合成することで、ネットワークトレーニングコストを削減します。
最近のデータセット蒸留アルゴリズムの成功にもかかわらず、3つの欠点は広い適用範囲を制限している。
私)。
合成画像は大きな建築では性能が悪く
i)。
蒸留比が変わると再最適化する必要があります
iii)。
限られた多様性は 蒸留比が大きい場合に 性能を制限します
本稿では,大列車集合 \textbf{i}nto 生成型 \textbf{m}odels の情報を dim と呼ぶ新しい蒸留スキームを提案する。
具体的には、ターゲットデータセットの情報を保存するために生成モデルを使用することを学ぶ。
蒸留段階では,実画像と生成画像のモデルプールによって予測されるロジットの差を最小限に抑える。
展開段階では、生成モデルはハエのランダムノイズから様々なトレーニングサンプルを合成する。
単純で効果的な設計のため、訓練されたDiMは、追加のコストなしで異なる蒸留比と大きな建築に直接適用することができる。
4つのデータセットにまたがって提案したDiMを検証する。
私たちの知る限りでは、resnet-18で75.1\%、cifar-10のクラスで10イメージでconvnet-3で72.6\%といった単純なアーキテクチャよりも、複雑なアーキテクチャで高い精度を達成するのは初めてです。
さらに、SVHNデータセット上のクラス毎のイメージが1と10である場合、DiMは10\%$\sim$ 22\%で、従来のメソッドよりも優れています。
関連論文リスト
- Data-to-Model Distillation: Data-Efficient Learning Framework [14.44010988811002]
本稿では,データ・ツー・モデル蒸留(Data-to-Model Distillation, D2M)と呼ばれる新しいフレームワークを提案する。
提案手法は,高解像度の128x128 ImageNet-1Kまで効果的にスケールアップする。
論文 参考訳（メタデータ） (2024-11-19T20:10:28Z) - One Category One Prompt: Dataset Distillation using Diffusion Models [22.512552596310176]
本稿では,D3M(Diffusion Models)をデータセット蒸留の新たなパラダイムとして導入し,生成的テキスト・画像基盤モデルの最近の進歩を活用する。
提案手法では,テキストから画像への合成モデルを微調整する手法であるテキストインバージョンを用いて,大規模データセットの簡潔かつ情報的な表現を生成する。
論文 参考訳（メタデータ） (2024-03-11T20:23:59Z) - Latent Dataset Distillation with Diffusion Models [9.398135472047132]
本稿では,拡散モデルを用いた潜在データセット蒸留(LD3M)を提案する。
我々の新しい拡散過程は, この課題に適しており, 蒸留の勾配流を著しく改善する。
LD3Mは、クラスごとに1つの画像に対して最大4.8 p.p.と4.2 p.p.を一貫して上回っている。
論文 参考訳（メタデータ） (2024-03-06T17:41:41Z) - Dataset Distillation via Adversarial Prediction Matching [24.487950991247764]
本稿では,データセットの蒸留問題を効率的に解くための逆フレームワークを提案する。
提案手法は,オリジナルデータセットの10%程度の大きさの合成データセットを生成できるが,全オリジナルデータセットでトレーニングしたモデルのテスト精度の94%を平均で達成できる。
論文 参考訳（メタデータ） (2023-12-14T13:19:33Z) - Data Distillation Can Be Like Vodka: Distilling More Times For Better
Quality [78.6359306550245]
蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。
PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。
実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-10-10T20:04:44Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - MIMIC: Masked Image Modeling with Image Correspondences [29.8154890262928]
効果的な事前トレーニングデータセットを構築するための現在の方法は、アノテーション付き3Dメッシュ、ポイントクラウド、シミュレートされた環境からのカメラパラメータに依存している。
我々は、追加のアノテーションを必要としない事前トレーニングされたデータセットキュレーションアプローチを提案する。
提案手法により,実世界のビデオとシミュレーション環境の両方から,大規模にマルチビューデータセットを生成することができる。
論文 参考訳（メタデータ） (2023-06-27T00:40:12Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。
具体的には、Webで収集したCoyo-700Mデータセットを利用する。
我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
論文 参考訳（メタデータ） (2023-05-24T15:33:46Z) - Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。
このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。
生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-02T17:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。