論文の概要: DELT: A Simple Diversity-driven EarlyLate Training for Dataset Distillation
- arxiv url: http://arxiv.org/abs/2411.19946v1
- Date: Fri, 29 Nov 2024 18:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:22:47.939773
- Title: DELT: A Simple Diversity-driven EarlyLate Training for Dataset Distillation
- Title（参考訳）: DELT:データセット蒸留のための簡易な多様性駆動早期学習
- Authors: Zhiqiang Shen, Ammar Sherif, Zeyuan Yin, Shitong Shao,
- Abstract要約: 本稿では,バッチ・ツー・グロバルマッチングにおける画像の多様性を高めるため,多様性駆動型早期学習(DELT)方式を提案する。
我々のアプローチは概念的には単純だが有効であり、事前に定義されたIPCサンプルを小さなサブタスクに分割し、局所的な最適化を用いる。
我々のアプローチは、異なるデータセットとIPC(クラスごとのイメージ)で平均2$sim$5%の先行技術よりも優れています。
- 参考スコア（独自算出の注目度）: 23.02066055996762
- License:
- Abstract: Recent advances in dataset distillation have led to solutions in two main directions. The conventional batch-to-batch matching mechanism is ideal for small-scale datasets and includes bi-level optimization methods on models and syntheses, such as FRePo, RCIG, and RaT-BPTT, as well as other methods like distribution matching, gradient matching, and weight trajectory matching. Conversely, batch-to-global matching typifies decoupled methods, which are particularly advantageous for large-scale datasets. This approach has garnered substantial interest within the community, as seen in SRe$^2$L, G-VBSM, WMDD, and CDA. A primary challenge with the second approach is the lack of diversity among syntheses within each class since samples are optimized independently and the same global supervision signals are reused across different synthetic images. In this study, we propose a new Diversity-driven EarlyLate Training (DELT) scheme to enhance the diversity of images in batch-to-global matching with less computation. Our approach is conceptually simple yet effective, it partitions predefined IPC samples into smaller subtasks and employs local optimizations to distill each subset into distributions from distinct phases, reducing the uniformity induced by the unified optimization process. These distilled images from the subtasks demonstrate effective generalization when applied to the entire task. We conduct extensive experiments on CIFAR, Tiny-ImageNet, ImageNet-1K, and its sub-datasets. Our approach outperforms the previous state-of-the-art by 2$\sim$5% on average across different datasets and IPCs (images per class), increasing diversity per class by more than 5% while reducing synthesis time by up to 39.3% for enhancing the training efficiency. Code is available at: https://github.com/VILA-Lab/DELT.
- Abstract（参考訳）: データセット蒸留の最近の進歩は、2つの主要な方向の解を生み出している。
従来のバッチ・ツー・バッチマッチング機構は、小規模データセットに最適であり、FRePo、RCIG、RaT-BPTTといったモデルと合成の2レベル最適化手法や、分布マッチング、勾配マッチング、重みトラジェクトリマッチングといった他の手法を含む。
逆に、バッチ・トゥ・グロバルマッチングは、特に大規模データセットに有利な分離された手法を典型化する。
このアプローチは、SRe$^2$L、G-VBSM、WMDD、CDAに見られるように、コミュニティ内でかなりの関心を集めている。
第2のアプローチの主な課題は、サンプルが独立に最適化され、同じグローバルな監視信号が異なる合成画像間で再利用されるため、各クラス内での合成の多様性の欠如である。
本研究では,より少ない計算量でバッチ・ツー・グロバルマッチングにおける画像の多様性を高めるため,ダイバーシティ駆動型早期学習(DELT)方式を提案する。
我々のアプローチは概念的には単純だが有効であり、事前に定義されたIPCサンプルを小さなサブタスクに分割し、各サブセットを異なる位相から分布に蒸留する局所最適化を用いて、統一最適化プロセスによって誘導される均一性を減少させる。
これらのサブタスクから抽出した画像は、タスク全体に適用した場合に有効な一般化を示す。
我々は、CIFAR、Tiny-ImageNet、ImageNet-1Kおよびそのサブデータセットに関する広範な実験を行う。
我々の手法は、異なるデータセットやIPC(クラスごとのイメージ)で平均2$\sim$5%、クラスごとの多様性を5%以上増加させ、学習効率を向上させるために合成時間を最大39.3%削減する。
コードは、https://github.com/VILA-Lab/DELT.comで入手できる。
関連論文リスト
- DANCE: Dual-View Distribution Alignment for Dataset Condensation [39.08022095906364]
我々は、データセットのコンディエンテーション(DANCE)のためのDMベースの新しいDual-view Distribution AligNmentを提案する。
具体的には、内部クラスの観点から複数の「中間エンコーダ」を構築し、擬似的な長期分布アライメントを行う。
クラス間の観点からは,分布キャリブレーションを行うために専門家モデルを用いる。
論文 参考訳（メタデータ） (2024-06-03T07:22:17Z) - DiverseNet: Decision Diversified Semi-supervised Semantic Segmentation Networks for Remote Sensing Imagery [17.690698736544626]
トレーニング中の精度と多様性を同時に向上し,マルチヘッド・マルチモデル半教師付き学習アルゴリズムを探索するDiverseNetを提案する。
DiverseNetファミリーで提案されている2つの手法、すなわちDiverseHeadとDiverseModelは、広く利用されている4つのリモートセンシング画像データセットにおいて、セマンティックセマンティックセマンティクスの性能を向上させる。
論文 参考訳（メタデータ） (2023-11-22T22:20:10Z) - DREAM+: Efficient Dataset Distillation by Bidirectional Representative
Matching [40.18223537419178]
本稿では,DREAM+と呼ばれる新しいデータセットマッチング手法を提案する。
DREAM+は、蒸留の繰り返し回数を15回以上減らし、性能に影響を与えない。
十分なトレーニング時間があれば、DREAM+はパフォーマンスをさらに向上し、最先端の結果を得ることができる。
論文 参考訳（メタデータ） (2023-10-23T15:55:30Z) - Data Distillation Can Be Like Vodka: Distilling More Times For Better
Quality [78.6359306550245]
蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。
PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。
実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-10-10T20:04:44Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳（メタデータ） (2022-03-03T05:58:49Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳（メタデータ） (2021-04-01T13:55:21Z) - Exploiting Invariance in Training Deep Neural Networks [4.169130102668252]
動物視覚システムの2つの基本的なメカニズムに触発され、ディープニューラルネットワークのトレーニングに不変性を与える特徴変換技術を紹介します。
結果として得られるアルゴリズムはパラメータチューニングを少なくし、初期学習率1.0でうまくトレーニングし、異なるタスクに簡単に一般化する。
ImageNet、MS COCO、Cityscapesデータセットでテストされた当社の提案手法は、トレーニングにより少ないイテレーションを必要とし、すべてのベースラインを大きなマージンで上回り、小規模および大規模のバッチサイズのトレーニングをシームレスに行い、画像分類、オブジェクト検出、セマンティックセグメンテーションの異なるコンピュータビジョンタスクに適用します。
論文 参考訳（メタデータ） (2021-03-30T19:18:31Z) - Adaptive Consistency Regularization for Semi-Supervised Transfer
Learning [31.66745229673066]
我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。
事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。
提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
論文 参考訳（メタデータ） (2021-03-03T05:46:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。