論文の概要: Teddy: Efficient Large-Scale Dataset Distillation via Taylor-Approximated Matching

• arxiv url: http://arxiv.org/abs/2410.07579v1
• Date: Thu, 10 Oct 2024 03:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:16:17.212924
• Title: Teddy: Efficient Large-Scale Dataset Distillation via Taylor-Approximated Matching
• Title（参考訳）: Teddy:Taylor近似マッチングによる効率的な大規模データセット蒸留
• Authors: Ruonan Yu, Songhua Liu, Jingwen Ye, Xinchao Wang,
• Abstract要約: Teddyは、大規模なデータセットを扱うように設計されたTaylor近似データセット蒸留フレームワークである。 TeddyはTiny-ImageNetとオリジナルサイズのImageNet-1Kデータセット上で、最先端の効率性とパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 74.75248610868685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation or condensation refers to compressing a large-scale dataset into a much smaller one, enabling models trained on this synthetic dataset to generalize effectively on real data. Tackling this challenge, as defined, relies on a bi-level optimization algorithm: a novel model is trained in each iteration within a nested loop, with gradients propagated through an unrolled computation graph. However, this approach incurs high memory and time complexity, posing difficulties in scaling up to large datasets such as ImageNet. Addressing these concerns, this paper introduces Teddy, a Taylor-approximated dataset distillation framework designed to handle large-scale dataset and enhance efficiency. On the one hand, backed up by theoretical analysis, we propose a memory-efficient approximation derived from Taylor expansion, which transforms the original form dependent on multi-step gradients to a first-order one. On the other hand, rather than repeatedly training a novel model in each iteration, we unveil that employing a pre-cached pool of weak models, which can be generated from a single base model, enhances both time efficiency and performance concurrently, particularly when dealing with large-scale datasets. Extensive experiments demonstrate that the proposed Teddy attains state-of-the-art efficiency and performance on the Tiny-ImageNet and original-sized ImageNet-1K dataset, notably surpassing prior methods by up to 12.8%, while reducing 46.6% runtime. Our code will be available at https://github.com/Lexie-YU/Teddy.
• Abstract（参考訳）: データセットの蒸留または凝縮は、大規模なデータセットをはるかに小さなデータセットに圧縮することであり、この合成データセットでトレーニングされたモデルにより、実際のデータに対して効果的に一般化することができる。 新たなモデルは、ネストしたループ内の各イテレーションでトレーニングされ、非ローリングな計算グラフを通じて勾配が伝播される。 しかし、このアプローチはメモリと時間の複雑さを伴い、ImageNetのような大規模なデータセットにスケールアップするのが困難である。 これらの問題に対処するために,大規模データセットの処理と効率向上を目的としたTaylor近似データセット蒸留フレームワークであるTeddyを紹介した。 一方, 理論解析により, 多段勾配に依存する原形を一階述語に変換するテイラー展開から導いたメモリ効率近似を提案する。 一方、各イテレーションで新しいモデルを繰り返し訓練するのではなく、単一ベースモデルから生成できる弱いモデルの事前キャッシュプールを利用することで、特に大規模データセットを扱う場合、時間効率と性能を同時に向上することを明らかにした。 広範な実験により、提案されたTeddyはTiny-ImageNetとオリジナルサイズのImageNet-1Kデータセットで最先端の効率とパフォーマンスを実現し、特に以前のメソッドを最大12.8%上回り、46.6%のランタイムを削減した。 私たちのコードはhttps://github.com/Lexie-YU/Teddy.comで公開されます。

関連論文リスト

• LiteNeXt: A Novel Lightweight ConvMixer-based Model with Self-embedding Representation Parallel for Medical Image Segmentation [2.0901574458380403]
  医用画像分割のための軽量だが効率的な新しいモデル LiteNeXt を提案する。 LiteNeXtは、少量のパラメータ (0.71M) とギガ浮動小数点演算 (0.42) でスクラッチから訓練されている。
  論文  参考訳（メタデータ） (2024-04-04T01:59:19Z)
• Dataset Distillation via Adversarial Prediction Matching [24.487950991247764]
  本稿では,データセットの蒸留問題を効率的に解くための逆フレームワークを提案する。 提案手法は,オリジナルデータセットの10%程度の大きさの合成データセットを生成できるが,全オリジナルデータセットでトレーニングしたモデルのテスト精度の94%を平均で達成できる。
  論文  参考訳（メタデータ） (2023-12-14T13:19:33Z)
• DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models [61.906934570771256]
  多様な合成画像や知覚アノテーションを生成できる汎用データセット生成モデルを提案する。 本手法は,事前学習した拡散モデルに基づいて,テキスト誘導画像合成を知覚データ生成に拡張する。 拡散モデルのリッチ潜時コードはデコーダモジュールを用いて正確な認識アノテーションとして効果的に復号できることを示す。
  論文  参考訳（メタデータ） (2023-08-11T14:38:11Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
  本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。 このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。 生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:31Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Data Distillation for Text Classification [7.473576666437028]
  データ蒸留は、大規模なトレーニングデータセットから、より小さな合成データセットに知識を蒸留することを目的としている。 テキスト分類のための新しいデータ蒸留法を開発した。 元のテキストデータの0.1%のサイズの蒸留されたデータは、元の約90%のパフォーマンスを達成する結果は、かなり印象的です。
  論文  参考訳（メタデータ） (2021-04-17T04:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。