論文の概要: Scaling Up Dataset Distillation to ImageNet-1K with Constant Memory

• arxiv url: http://arxiv.org/abs/2211.10586v4
• Date: Tue, 31 Oct 2023 19:28:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 18:33:22.449144
• Title: Scaling Up Dataset Distillation to ImageNet-1K with Constant Memory
• Title（参考訳）: 一定メモリによるImageNet-1Kへのデータセット蒸留のスケールアップ
• Authors: Justin Cui, Ruochen Wang, Si Si, Cho-Jui Hsieh
• Abstract要約: MTT(trajectory-matching-based method)は,ImageNet-1Kなどの大規模データセットに拡張可能であることを示す。 メモリフットプリントの6倍の削減を図り,MTTをImageNet-1Kにシームレスにスケールすることができる。 1つのGPU上で、ImageNet-1K上で50 IPC(Image Per Class)までスケールアップできる。
• 参考スコア（独自算出の注目度）: 66.035487142452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset Distillation is a newly emerging area that aims to distill large datasets into much smaller and highly informative synthetic ones to accelerate training and reduce storage. Among various dataset distillation methods, trajectory-matching-based methods (MTT) have achieved SOTA performance in many tasks, e.g., on CIFAR-10/100. However, due to exorbitant memory consumption when unrolling optimization through SGD steps, MTT fails to scale to large-scale datasets such as ImageNet-1K. Can we scale this SOTA method to ImageNet-1K and does its effectiveness on CIFAR transfer to ImageNet-1K? To answer these questions, we first propose a procedure to exactly compute the unrolled gradient with constant memory complexity, which allows us to scale MTT to ImageNet-1K seamlessly with ~6x reduction in memory footprint. We further discover that it is challenging for MTT to handle datasets with a large number of classes, and propose a novel soft label assignment that drastically improves its convergence. The resulting algorithm sets new SOTA on ImageNet-1K: we can scale up to 50 IPCs (Image Per Class) on ImageNet-1K on a single GPU (all previous methods can only scale to 2 IPCs on ImageNet-1K), leading to the best accuracy (only 5.9% accuracy drop against full dataset training) while utilizing only 4.2% of the number of data points - an 18.2% absolute gain over prior SOTA. Our code is available at https://github.com/justincui03/tesla
• Abstract（参考訳）: データセット蒸留(Dataset Distillation)は、大規模なデータセットをはるかに小さく、非常に情報に富んだ合成データに蒸留し、トレーニングを加速し、ストレージを削減することを目的とした、新たな分野である。 様々なデータセット蒸留法のうち、軌道整合式法(mtt)はcifar-10/100など多くのタスクでsota性能を達成している。 しかし、SGDのステップで最適化をアンロールする際のメモリ消費のために、MTTはImageNet-1Kのような大規模データセットにスケールできない。 このSOTA法を ImageNet-1K に拡張して,CIFAR の ImageNet-1K への転送に有効か? これらの疑問に対処するために,我々はまず,メモリフットプリントの約6倍の削減で,MTTをImageNet-1Kにシームレスにスケールできるような,不規則な勾配を一定メモリの複雑さで正確に計算する手順を提案する。 さらに,mttが多数のクラスでデータセットを処理することが困難であることを発見し,その収束を大幅に改善する新しいソフトラベル割り当てを提案する。 単一のgpu上でimagenet-1k上で最大50 ipc (image per class)までスケールアップできる(以前のすべてのメソッドはimagenet-1kでは2 ipcにしかスケールできない)。 私たちのコードはhttps://github.com/justincui03/teslaで利用可能です。

関連論文リスト

• Dataset Distillation in Large Data Era [31.758821805424393]
  従来の224$times$224の入力解像度で、フルイメージNet-1K/21Kなどの大規模データセットを蒸留する方法を示す。 提案手法は,ImageNet-1K/21Kにおいて,現在の最先端技術よりも4%以上精度が高いことを示す。
  論文  参考訳（メタデータ） (2023-11-30T18:59:56Z)
• Improving Resnet-9 Generalization Trained on Small Datasets [4.977981835063451]
  課題は、画像分類タスクにおいて10分以内で可能な限り高い精度を達成することである。 トレーニングは、CIFAR-10データセットからランダムに選択された5000の画像の小さなデータセット上で行われる。 我々の実験によると、ResNet-9はCIFAR-10データセットの10%のサブセットでのみトレーニングしながら88%の精度を達成することができる。
  論文  参考訳（メタデータ） (2023-09-07T18:46:52Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Squeeze, Recover and Relabel: Dataset Condensation at ImageNet Scale From A New Perspective [27.650434284271363]
  50 IPC未満では、Tiny-ImageNetとImageNet-1Kデータセットの検証精度が最も高い42.5%と60.8%である。 我々のアプローチは、データ合成中に11.6$times$と6.4$times$のメモリ消費を少なくして、約52$times$ (ConvNet-4) と 16$times$ (ResNet-18) の速度で MTT を超える。
  論文  参考訳（メタデータ） (2023-06-22T17:59:58Z)
• Large-scale Dataset Pruning with Dynamic Uncertainty [28.60845105174658]
  画像分類などの多くの学習タスクの最先端技術は、より大きなデータセットを収集して、より大きなモデルをトレーニングすることによって進歩している。 本稿では,大規模データセットの創出方法について検討し,非無視的な性能低下を伴う高度な深層モデルのトレーニングを行うための情報サブセットを作成する。
  論文  参考訳（メタデータ） (2023-06-08T13:14:35Z)
• SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage [52.317406324182215]
  大規模データセットに対する視覚分類器の記憶効率向上のための学習手法を提案する。 私たちのトークンストレージは、JPEG圧縮されたオリジナルの生ピクセルの1%しか必要としない。 ImageNet-1kによる実験結果から,本手法は,他のストレージ効率のトレーニング手法よりも大幅に優れており,大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2023-03-20T13:55:35Z)
• Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness with Dataset Reinforcement [68.44100784364987]
  本研究では、強化データセット上でトレーニングされたモデルアーキテクチャの精度が、ユーザにとって追加のトレーニングコストなしで向上するように、データセットを改善する戦略を提案する。 ImageNet+と呼ばれるImageNetトレーニングデータセットの強化バージョンと、強化されたデータセットCIFAR-100+、Flowers-102+、Food-101+を作成します。 ImageNet+でトレーニングされたモデルは、より正確で、堅牢で、校正され、下流タスクにうまく転送されます。
  論文  参考訳（メタデータ） (2023-03-15T23:10:17Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Memory Efficient Meta-Learning with Large Images [62.70515410249566]
  数ショットの分類に対するメタ学習アプローチは、新しいタスクを学ぶために、ほんの数ステップの最適化やシングルフォワードパスを必要とするテスト時に計算的に効率的である。 この制限は、最大1000のイメージを含むタスクの全体サポートセットが、最適化ステップを取る前に処理されなければならないために生じる。 本稿では,1つのGPU上の大容量画像からなる大規模タスクのメタトレーニングを可能にする,汎用的でメモリ効率の良いエピソード・トレーニング手法であるLITEを提案する。
  論文  参考訳（メタデータ） (2021-07-02T14:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。