論文の概要: Dataset Condensation with Differentiable Siamese Augmentation
- arxiv url: http://arxiv.org/abs/2102.08259v1
- Date: Tue, 16 Feb 2021 16:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 15:14:29.433738
- Title: Dataset Condensation with Differentiable Siamese Augmentation
- Title（参考訳）: 異なるシムズ増量によるデータセットの凝縮
- Authors: Bo Zhao, Hakan Bilen
- Abstract要約: 大規模トレーニングセットを,ディープニューラルネットワークのトレーニングに使用可能な,はるかに小さな合成セットに集約することに注力する。
より有益な合成画像の合成にデータ拡張を有効活用できる微分可能なSiamese Augmentationを提案する。
本手法がMNIST, FashionMNIST, SVHN, CIFAR10に対して99.6%, 94.9%, 88.5%, 71.5%の相対的性能をそれぞれ達成していることを1%未満のデータで示した。
- 参考スコア（独自算出の注目度）: 30.571335208276246
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In many machine learning problems, large-scale datasets have become the
de-facto standard to train state-of-the-art deep networks at the price of heavy
computation load. In this paper, we focus on condensing large training sets
into significantly smaller synthetic sets which can be used to train deep
neural networks from scratch with minimum drop in performance. Inspired from
the recent training set synthesis methods, we propose Differentiable Siamese
Augmentation that enables effective use of data augmentation to synthesize more
informative synthetic images and thus achieves better performance when training
networks with augmentations. Experiments on multiple image classification
benchmarks demonstrate that the proposed method obtains substantial gains over
the state-of-the-art, 7% improvements on CIFAR10 and CIFAR100 datasets. We show
with only less than 1% data that our method achieves 99.6%, 94.9%, 88.5%, 71.5%
relative performance on MNIST, FashionMNIST, SVHN, CIFAR10 respectively.
- Abstract（参考訳）: 多くの機械学習問題において、大規模データセットは重い計算負荷を犠牲にして最先端のディープネットワークを訓練するデファクトスタンダードとなっている。
本論文では,深層ニューラルネットワークをゼロから,性能低下を最小限に抑えるために用いることができる,大規模トレーニングセットを極めて小さな合成セットに凝縮することに焦点を当てる。
近年のトレーニングセット合成法に触発されて,データ拡張を効果的に利用してより有益な合成画像を合成し,拡張を伴うトレーニングネットワークの性能向上を実現する,微分可能なシアム増補法を提案する。
複数の画像分類ベンチマークの実験により、提案手法は最先端のCIFAR10データセットとCIFAR100データセットを7%改善した。
本手法がMNIST, FashionMNIST, SVHN, CIFAR10に対して99.6%, 94.9%, 88.5%, 71.5%の相対的性能をそれぞれ達成していることを1%未満のデータで示した。
関連論文リスト
- Data Distillation Can Be Like Vodka: Distilling More Times For Better
Quality [78.6359306550245]
蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。
PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。
実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-10-10T20:04:44Z) - DataDAM: Efficient Dataset Distillation with Attention Matching [15.300968899043498]
研究者たちは、さまざまなデータセットをまたいだ強力な一般化を維持することによって、ディープラーニングのトレーニングコストを最小化しようと長年努力してきた。
データセットに関する新たな研究は、より大きな実際のデータセットの情報を含む小さな合成セットを作成することで、トレーニングコストの削減を目的としている。
しかし、従来の方法で生成された合成データは、元のトレーニングデータと同様に、配布・差別することが保証されていない。
論文 参考訳（メタデータ） (2023-09-29T19:07:48Z) - Improving Resnet-9 Generalization Trained on Small Datasets [4.977981835063451]
課題は、画像分類タスクにおいて10分以内で可能な限り高い精度を達成することである。
トレーニングは、CIFAR-10データセットからランダムに選択された5000の画像の小さなデータセット上で行われる。
我々の実験によると、ResNet-9はCIFAR-10データセットの10%のサブセットでのみトレーニングしながら88%の精度を達成することができる。
論文 参考訳（メタデータ） (2023-09-07T18:46:52Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - Peeling the Onion: Hierarchical Reduction of Data Redundancy for
Efficient Vision Transformer Training [110.79400526706081]
ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。
従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。
本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-19T21:15:47Z) - ScoreMix: A Scalable Augmentation Strategy for Training GANs with
Limited Data [93.06336507035486]
GAN(Generative Adversarial Networks)は通常、限られたトレーニングデータが利用できる場合、過度に適合する。
ScoreMixは、様々な画像合成タスクのための、新しくスケーラブルなデータ拡張手法である。
論文 参考訳（メタデータ） (2022-10-27T02:55:15Z) - A Study on the Impact of Data Augmentation for Training Convolutional
Neural Networks in the Presence of Noisy Labels [14.998309259808236]
ラベルノイズは大規模な実世界のデータセットで一般的であり、その存在はディープニューラルネットワークのトレーニングプロセスに悪影響を及ぼす。
我々は、深層ニューラルネットワークをトレーニングするための設計選択として、データ拡張の影響を評価する。
データ拡張の適切な選択は、ラベルノイズに対するモデルロバスト性を大幅に改善できることを示す。
論文 参考訳（メタデータ） (2022-08-23T20:04:17Z) - Training Efficient CNNS: Tweaking the Nuts and Bolts of Neural Networks
for Lighter, Faster and Robust Models [0.0]
トレーニングパラメータ数を逐次減少させることで,効率的な深層畳み込みネットワークを段階的に構築する方法を実証する。
我々は、MNISTのデータに対して、わずか1500のパラメータで99.2%のSOTA精度と、CIFAR-10データセットで140K以上のパラメータで86.01%の精度を達成した。
論文 参考訳（メタデータ） (2022-05-23T13:51:06Z) - Learning to Generate Synthetic Training Data using Gradient Matching and
Implicit Differentiation [77.34726150561087]
本稿では,深層ネットワークの訓練に要するデータ量を削減できる各種データ蒸留技術について検討する。
近年の考え方に触発されて, 生成的学習ネットワーク, 勾配マッチング, インプリシット関数理論に基づく新しいデータ蒸留手法を提案する。
論文 参考訳（メタデータ） (2022-03-16T11:45:32Z) - Dataset Condensation with Distribution Matching [30.571335208276246]
データセットの凝縮は、元々の大きなトレーニングセットを、はるかに小さな学習された合成セットに置き換えることを目的としている。
トレーニングコストを大幅に削減する,単純かつ効果的なデータセット凝縮手法を提案する。
その効率により、我々はより現実的で大規模なデータセットに適用し、洗練されたニューラルアーキテクチャを持つ。
論文 参考訳（メタデータ） (2021-10-08T15:02:30Z) - Differentiable Augmentation for Data-Efficient GAN Training [48.920992130257595]
DiffAugmentは,実検体と偽検体の両方に様々な種類の微分可能拡張を付与することにより,GANのデータ効率を向上させる簡易な手法である。
本手法は,既存の移動学習アルゴリズムと同等でありながら,事前学習することなく,100個の画像のみを用いて高忠実度画像を生成することができる。
論文 参考訳（メタデータ） (2020-06-18T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。