論文の概要: Distill Gold from Massive Ores: Efficient Dataset Distillation via Critical Samples Selection

• arxiv url: http://arxiv.org/abs/2305.18381v3
• Date: Wed, 29 Nov 2023 10:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 01:07:12.248404
• Title: Distill Gold from Massive Ores: Efficient Dataset Distillation via Critical Samples Selection
• Title（参考訳）: 大量鉱石から溶出する金: 臨界試料選択による効率的なデータセット蒸留
• Authors: Yue Xu, Yong-Lu Li, Kaitong Cui, Ziyu Wang, Cewu Lu, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 情報伝達の文脈内でデータセット蒸留タスクをモデル化する。 我々は、データユーティリティー推定器のファミリーと、最も価値のあるサンプルを利用する最適なデータ選択方法を導入し、検証する。 提案手法は, より大規模で異種なデータセットであっても, 蒸留アルゴリズムを一貫して強化する。
• 参考スコア（独自算出の注目度）: 101.78275454476311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-efficient learning has garnered significant attention, especially given the current trend of large multi-modal models. Recently, dataset distillation becomes an effective approach for data-efficiency; however, the distillation process itself can still be inefficient. In this work, we model the dataset distillation task within the context of information transport. By observing the substantial data redundancy inherent in the distillation, we argue to put more emphasis on the samples' utility for the distillation task. We introduce and validate a family of data utility estimators and optimal data selection methods to exploit the most valuable samples. This strategy significantly reduces the training costs and extends various existing distillation algorithms to larger and more diversified datasets, e.g., in some cases only 0.04% training data is sufficient for comparable distillation performance. Our method consistently enhances the distillation algorithms, even on much larger-scale and more heterogeneous datasets, e.g. ImageNet-1K and Kinetics-400. This paradigm opens up new avenues in the dynamics of distillation and paves the way for efficient dataset distillation. Our code is available on https://github.com/silicx/GoldFromOres .
• Abstract（参考訳）: データ効率のよい学習は、特に大規模マルチモーダルモデルのトレンドを考えると、大きな注目を集めている。 近年, データセットの蒸留はデータ効率に有効な手法となっているが, 蒸留プロセス自体が効率的でない場合もある。 本研究では,情報伝達の文脈におけるデータセット蒸留タスクをモデル化する。 蒸留に固有のデータ冗長性を観察することにより, 蒸留作業における試料の有用性をより強調する。 我々は,最も価値のあるサンプルを活用すべく,データユーティリティ推定器群と最適なデータ選択法を紹介し,検証する。 この戦略はトレーニングコストを大幅に削減し、様々な既存の蒸留アルゴリズムを、より大きく多様化したデータセットに拡張する。 本手法は,imagenet-1k や kinetics-400 など,より大規模で異種なデータセットにおいても,蒸留アルゴリズムを一貫して強化する。 このパラダイムは蒸留のダイナミクスに新たな道を開き、効率的なデータセット蒸留への道を開く。 私たちのコードはhttps://github.com/silicx/GoldFromOresで利用可能です。

関連論文リスト

• Label-Augmented Dataset Distillation [13.449340904911725]
  ラベル増量によるデータセット蒸留を強化するため,ラベル増量データセット蒸留(LADD)を導入する。 LADDはそれぞれの合成画像をサブサンプリングし、リッチなセマンティクスをキャプチャするためにさらに高密度なラベルを生成する。 3つの高性能なデータセット蒸留アルゴリズムにより、LADDは平均14.9%の精度で著しく向上した。
  論文  参考訳（メタデータ） (2024-09-24T16:54:22Z)
• Mitigating Bias in Dataset Distillation [62.79454960378792]
  原データセット内のバイアスがデータセット蒸留の性能に及ぼす影響について検討した。 カーネル密度推定を用いたサンプル再重み付け方式に基づく,単純かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T18:52:28Z)
• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Dataset Distillation via Adversarial Prediction Matching [24.487950991247764]
  本稿では,データセットの蒸留問題を効率的に解くための逆フレームワークを提案する。 提案手法は,オリジナルデータセットの10%程度の大きさの合成データセットを生成できるが,全オリジナルデータセットでトレーニングしたモデルのテスト精度の94%を平均で達成できる。
  論文  参考訳（メタデータ） (2023-12-14T13:19:33Z)
• Data Distillation Can Be Like Vodka: Distilling More Times For Better Quality [78.6359306550245]
  蒸留に1つの合成部分集合を用いるだけでは最適な一般化性能は得られない。 PDDは複数の小さな合成画像集合を合成し、それぞれ前の集合に条件付けし、これらの部分集合の累積和でモデルを訓練する。 実験の結果, PDDは既存のデータセット蒸留法の性能を最大4.3%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T20:04:44Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• New Properties of the Data Distillation Method When Working With Tabular Data [77.34726150561087]
  データ蒸留は、必要な情報のみを保持しながら、トレーニングデータの量を減らす問題である。 蒸留した試料でトレーニングしたモデルは、元のデータセットでトレーニングしたモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-19T20:27:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。