論文の概要: DREAM+: Efficient Dataset Distillation by Bidirectional Representative
Matching
- arxiv url: http://arxiv.org/abs/2310.15052v1
- Date: Mon, 23 Oct 2023 15:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:57:12.080353
- Title: DREAM+: Efficient Dataset Distillation by Bidirectional Representative
Matching
- Title(参考訳): DREAM+:双方向代表マッチングによる効率的なデータセット蒸留
- Authors: Yanqing Liu, Jianyang Gu, Kai Wang, Zheng Zhu, Kaipeng Zhang, Wei
Jiang and Yang You
- Abstract要約: 本稿では,DREAM+と呼ばれる新しいデータセットマッチング手法を提案する。
DREAM+は、蒸留の繰り返し回数を15回以上減らし、性能に影響を与えない。
十分なトレーニング時間があれば、DREAM+はパフォーマンスをさらに向上し、最先端の結果を得ることができる。
- 参考スコア(独自算出の注目度): 40.18223537419178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dataset distillation plays a crucial role in creating compact datasets with
similar training performance compared with original large-scale ones. This is
essential for addressing the challenges of data storage and training costs.
Prevalent methods facilitate knowledge transfer by matching the gradients,
embedding distributions, or training trajectories of synthetic images with
those of the sampled original images. Although there are various matching
objectives, currently the strategy for selecting original images is limited to
naive random sampling. We argue that random sampling overlooks the evenness of
the selected sample distribution, which may result in noisy or biased matching
targets. Besides, the sample diversity is also not constrained by random
sampling. Additionally, current methods predominantly focus on
single-dimensional matching, where information is not fully utilized. To
address these challenges, we propose a novel matching strategy called Dataset
Distillation by Bidirectional REpresentAtive Matching (DREAM+), which selects
representative original images for bidirectional matching. DREAM+ is applicable
to a variety of mainstream dataset distillation frameworks and significantly
reduces the number of distillation iterations by more than 15 times without
affecting performance. Given sufficient training time, DREAM+ can further
improve the performance and achieve state-of-the-art results. We have released
the code at github.com/NUS-HPC-AI-Lab/DREAM+.
- Abstract(参考訳): データセットの蒸留は、従来の大規模データセットと同じような訓練性能を持つコンパクトデータセットを作成する上で重要な役割を果たす。
これは、データストレージとトレーニングコストの課題に対処するのに不可欠です。
一般的な手法は、画像の勾配、埋め込み分布、あるいは合成画像の訓練軌跡をサンプル画像と一致させることで知識伝達を促進する。
マッチング対象は多岐にわたるが、現在ではオリジナル画像の選択戦略はナイーブなランダムサンプリングに限られている。
ランダムサンプリングは選択されたサンプル分布の偶性を見落とし、ノイズや偏りのあるマッチング対象になる可能性がある。
さらに、サンプルの多様性はランダムサンプリングによって制約されない。
さらに、現在の手法は情報を完全に活用していない一次元マッチングに重点を置いている。
これらの課題に対処するために,双方向代表マッチング(dream+)によるデータセット蒸留と呼ばれる,双方向マッチングのための代表オリジナル画像を選択する新しいマッチング戦略を提案する。
dream+は、様々なメインストリームのデータセット蒸留フレームワークに適用でき、性能に影響を与えることなく、蒸留イテレーションの回数を15回以上削減できる。
十分なトレーニング時間があれば、DREAM+はパフォーマンスをさらに向上し、最先端の結果を得ることができる。
我々はgithub.com/NUS-HPC-AI-Lab/DREAM+でコードを公開しました。
関連論文リスト
- Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - DEff-GAN: Diverse Attribute Transfer for Few-Shot Image Synthesis [0.38073142980733]
我々は、サンプル合成のための複数の画像をモデル化するために、単一画像GAN法を拡張した。
我々のデータ効率GAN(DEff-GAN)は、入力画像やクラス間で類似性や対応性を引き出すことができる場合に優れた結果をもたらす。
論文 参考訳(メタデータ) (2023-02-28T12:43:52Z) - DREAM: Efficient Dataset Distillation by Representative Matching [38.92087223000823]
textbfREpresenttextbfAtive textbfMatching (DREAM) による textbfDataset 蒸留と呼ばれる新しいマッチング手法を提案する。
DREAMは、一般的なデータセット蒸留フレームワークに簡単にプラグインでき、性能低下なしに蒸留イテレーションを8回以上減らすことができる。
論文 参考訳(メタデータ) (2023-02-28T08:48:45Z) - Semi-Supervised Image Captioning by Adversarially Propagating Labeled
Data [95.0476489266988]
本稿では、画像キャプションモデルの一般化を改善するための、新しいデータ効率半教師付きフレームワークを提案する。
提案手法は,キャプタにペアデータから学習し,段階的に未ペアデータの関連付けを行うよう訓練する。
1)画像ベースと(2)高密度領域ベースキャプションデータセットの両方を総合的かつ包括的な実験結果とし,それに続いて,少ないペアリングデータセットの包括的分析を行った。
論文 参考訳(メタデータ) (2023-01-26T15:25:43Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳(メタデータ) (2022-10-27T02:55:15Z) - ReSmooth: Detecting and Utilizing OOD Samples when Training with Data
Augmentation [57.38418881020046]
最近のDA技術は、常に強化トレーニングサンプルの多様性の必要性を満たす。
多様性の高い増分戦略は、通常、アウト・オブ・ディストリビューション(OOD)の増分サンプルを導入する。
ReSmoothは、まず、拡張サンプル中のOODサンプルを検知し、それらを活用するフレームワークである。
論文 参考訳(メタデータ) (2022-05-25T09:29:27Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳(メタデータ) (2021-12-16T11:27:48Z) - Sample selection for efficient image annotation [14.695979686066066]
監視対象検出は、人間レベルのパフォーマンスを達成する多くのベンチマークデータセットで成功したことが証明されている。
ラベルなしデータセットから最も有益な画像をサンプリングする効率的な画像選択手法を提案する。
本手法は,完全な手動ラベリング設定と比較して,手動アノテーション作業の最大80%を削減でき,ランダムサンプリングよりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2021-05-10T21:25:10Z) - Variational Clustering: Leveraging Variational Autoencoders for Image
Clustering [8.465172258675763]
変分オートエンコーダ(VAE)は、潜在空間におけるデータ分布の学習に自然に役立ちます。
画像のクラスタリングに先立ってガウス混合を用いるVAEに基づく手法を提案する。
提案手法は,画像の潜伏分布と後部を捉える前処理を同時に学習し,データポイント間の識別に役立てる。
論文 参考訳(メタデータ) (2020-05-10T09:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。