論文の概要: Scaling Up Dataset Distillation to ImageNet-1K with Constant Memory
- arxiv url: http://arxiv.org/abs/2211.10586v1
- Date: Sat, 19 Nov 2022 04:46:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 17:54:39.621004
- Title: Scaling Up Dataset Distillation to ImageNet-1K with Constant Memory
- Title（参考訳）: 一定メモリによるImageNet-1Kへのデータセット蒸留のスケールアップ
- Authors: Justin Cui, Ruochen Wang, Si Si, Cho-Jui Hsieh
- Abstract要約: 6倍のメモリ削減でImageNet-1Kに容易にスケールできるメモリ効率の良いトラジェクトリマッチング法を提案する。
また,合成画像にソフトラベルを割り当てることが,多数のカテゴリにスケールする際の性能に重要であることも確認した。
提案アルゴリズムは,ImageNet-1K上の従来のSOTAを超低 IPC で上回るだけでなく,ImageNet-1K 上で50 IPC までのスケールアップを可能にする。
- 参考スコア（独自算出の注目度）: 79.18718490863908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dataset distillation methods aim to compress a large dataset into a small set
of synthetic samples, such that when being trained on, competitive performances
can be achieved compared to regular training on the entire dataset. Among
recently proposed methods, Matching Training Trajectories (MTT) achieves
state-of-the-art performance on CIFAR-10/100, while having difficulty scaling
to ImageNet-1k dataset due to the large memory requirement when performing
unrolled gradient computation through back-propagation. Surprisingly, we show
that there exists a procedure to exactly calculate the gradient of the
trajectory matching loss with constant GPU memory requirement (irrelevant to
the number of unrolled steps). With this finding, the proposed memory-efficient
trajectory matching method can easily scale to ImageNet-1K with 6x memory
reduction while introducing only around 2% runtime overhead than original MTT.
Further, we find that assigning soft labels for synthetic images is crucial for
the performance when scaling to larger number of categories (e.g., 1,000) and
propose a novel soft label version of trajectory matching that facilities
better aligning of model training trajectories on large datasets. The proposed
algorithm not only surpasses previous SOTA on ImageNet-1K under extremely low
IPCs (Images Per Class), but also for the first time enables us to scale up to
50 IPCs on ImageNet-1K. Our method (TESLA) achieves 27.9% testing accuracy, a
remarkable +18.2% margin over prior arts.
- Abstract（参考訳）: データセット蒸留法(dataset distillation method)は、大規模なデータセットを小さな合成サンプルに圧縮することを目的としている。
最近提案された手法のうち、MTT(Matching Training Trajectories)は、バックプロパゲーションによるアンロール勾配計算を行う際の大きなメモリ要件のため、ImageNet-1kデータセットへのスケーリングが困難でありながら、CIFAR-10/100における最先端のパフォーマンスを達成する。
意外なことに、トラジェクトリー整合損失の勾配を一定のGPUメモリ要件で正確に計算する手順が存在する(無回転ステップの数に関係している)。
これにより、提案手法は6倍のメモリ削減でImageNet-1Kに容易にスケールできるが、実行時のオーバーヘッドは元のNTTよりも2%程度しか発生しない。
さらに,合成画像にソフトラベルを割り当てることは,より多くのカテゴリ(例えば1,000)にスケールする場合のパフォーマンスに不可欠であり,大規模データセットにおけるモデルトレーニングトラジェクタの整合性が向上した,新しいソフトラベルバージョンの軌道マッチングを提案する。
提案アルゴリズムは,ImageNet-1K の以前の SOTA を超低 IPC (Images Per Class) で上回るだけでなく,ImageNet-1K で50 IPC までのスケールアップを可能にする。
我々の方法(TESLA)は27.9%の精度で、先行技術よりも18.2%の差がある。
関連論文リスト
- Dataset Distillation via Curriculum Data Synthesis in Large Data Era [26.883100340763317]
本稿では,データ合成におけるカリキュラムデータ拡張によって実現された,シンプルで効果的なグローバル・ローカル・グラデーション・リファインメント・アプローチを提案する。
提案したモデルは、ImageNet-1K/21Kにおいて、SRe$2$L, TESLA, MTTといった現在の最先端の手法を4%以上のTop-1精度で上回り、初めて、フルデータのトレーニング対象に対するギャップを、絶対15%以下に削減する。
論文 参考訳（メタデータ） (2023-11-30T18:59:56Z) - Improving Resnet-9 Generalization Trained on Small Datasets [4.977981835063451]
課題は、画像分類タスクにおいて10分以内で可能な限り高い精度を達成することである。
トレーニングは、CIFAR-10データセットからランダムに選択された5000の画像の小さなデータセット上で行われる。
我々の実験によると、ResNet-9はCIFAR-10データセットの10%のサブセットでのみトレーニングしながら88%の精度を達成することができる。
論文 参考訳（メタデータ） (2023-09-07T18:46:52Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳（メタデータ） (2023-08-21T07:24:29Z) - Squeeze, Recover and Relabel: Dataset Condensation at ImageNet Scale
From A New Perspective [27.650434284271363]
50 IPC未満では、Tiny-ImageNetとImageNet-1Kデータセットの検証精度が最も高い42.5%と60.8%である。
我々のアプローチは、データ合成中に11.6$times$と6.4$times$のメモリ消費を少なくして、約52$times$ (ConvNet-4) と 16$times$ (ResNet-18) の速度で MTT を超える。
論文 参考訳（メタデータ） (2023-06-22T17:59:58Z) - Large-scale Dataset Pruning with Dynamic Uncertainty [28.60845105174658]
画像分類などの多くの学習タスクの最先端技術は、より大きなデータセットを収集して、より大きなモデルをトレーニングすることによって進歩している。
本稿では,大規模データセットの創出方法について検討し,非無視的な性能低下を伴う高度な深層モデルのトレーニングを行うための情報サブセットを作成する。
論文 参考訳（メタデータ） (2023-06-08T13:14:35Z) - SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel
Storage [52.317406324182215]
大規模データセットに対する視覚分類器の記憶効率向上のための学習手法を提案する。
私たちのトークンストレージは、JPEG圧縮されたオリジナルの生ピクセルの1%しか必要としない。
ImageNet-1kによる実験結果から,本手法は,他のストレージ効率のトレーニング手法よりも大幅に優れており,大きなギャップがあることがわかった。
論文 参考訳（メタデータ） (2023-03-20T13:55:35Z) - Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness
with Dataset Reinforcement [68.44100784364987]
本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。
ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。
ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
論文 参考訳（メタデータ） (2023-03-15T23:10:17Z) - Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。
本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。
本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
論文 参考訳（メタデータ） (2022-12-04T07:26:24Z) - Memory Efficient Meta-Learning with Large Images [62.70515410249566]
数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。
この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。
本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
論文 参考訳（メタデータ） (2021-07-02T14:37:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。