論文の概要: Practical Dataset Distillation Based on Deep Support Vectors
- arxiv url: http://arxiv.org/abs/2405.00348v1
- Date: Wed, 1 May 2024 06:41:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 16:27:08.175234
- Title: Practical Dataset Distillation Based on Deep Support Vectors
- Title（参考訳）: 深部支援ベクトルに基づく実用的データセット蒸留
- Authors: Hyunho Lee, Junhoo Lee, Nojun Kwak,
- Abstract要約: 本稿では,データセット全体のごく一部にのみアクセス可能な実運用シナリオにおけるデータセット蒸留に着目した。
本稿では,Deep KKT (DKKT) の損失を付加することにより,一般的なモデル知識を取り入れ,従来のプロセスを強化する新しい蒸留法を提案する。
CIFAR-10データセットのベースライン分布マッチング蒸留法と比較して,本手法では性能が向上した。
- 参考スコア（独自算出の注目度）: 27.16222034423108
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional dataset distillation requires significant computational resources and assumes access to the entire dataset, an assumption impractical as it presumes all data resides on a central server. In this paper, we focus on dataset distillation in practical scenarios with access to only a fraction of the entire dataset. We introduce a novel distillation method that augments the conventional process by incorporating general model knowledge via the addition of Deep KKT (DKKT) loss. In practical settings, our approach showed improved performance compared to the baseline distribution matching distillation method on the CIFAR-10 dataset. Additionally, we present experimental evidence that Deep Support Vectors (DSVs) offer unique information to the original distillation, and their integration results in enhanced performance.
- Abstract（参考訳）: 従来のデータセットの蒸留には、重要な計算資源が必要であり、すべてのデータが中央サーバーに存在すると仮定する前提として、データセット全体へのアクセスを前提としています。
本稿では,データセット全体のごく一部にのみアクセス可能な実運用シナリオにおけるデータセット蒸留に着目した。
本稿では,Deep KKT (DKKT) の損失を付加することにより,一般的なモデル知識を取り入れ,従来のプロセスを強化する新しい蒸留法を提案する。
CIFAR-10データセットのベースライン分布マッチング蒸留法と比較して,本手法では性能が向上した。
さらに, ディープ・サポート・ベクターズ(DSV)がオリジナル蒸留にユニークな情報を提供し, その統合により性能が向上することを示す実験的な証拠を提示する。
関連論文リスト
- Mitigating Bias in Dataset Distillation [62.79454960378792]
原データセット内のバイアスがデータセット蒸留の性能に及ぼす影響について検討した。
カーネル密度推定を用いたサンプル再重み付け方式に基づく,単純かつ高効率な手法を提案する。
論文 参考訳（メタデータ） (2024-06-06T18:52:28Z) - Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。
実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
論文 参考訳（メタデータ） (2024-03-25T19:15:19Z) - DD-RobustBench: An Adversarial Robustness Benchmark for Dataset Distillation [25.754877176280708]
我々は,蒸留したデータセットの対角的堅牢性を統一的に評価する上で,これまでで最も広範囲なベンチマークを導入する。
TESLAやSRe2Lといった最新の進歩を取り入れることで,これまでの取り組みを大きく拡張する。
また, 蒸留したデータを元のデータセットのトレーニングバッチに組み込むことで, 堅牢性の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2024-03-20T06:00:53Z) - Towards Adversarially Robust Dataset Distillation by Curvature Regularization [11.463315774971857]
蒸留したデータセットに対向ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持し、より良い対向ロバスト性を得る。
そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-15T06:31:03Z) - Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳（メタデータ） (2024-01-29T03:29:39Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - Generalizing Dataset Distillation via Deep Generative Prior [75.9031209877651]
本稿では,データセット全体の知識をいくつかの合成画像に抽出することを提案する。
このアイデアは、学習アルゴリズムにトレーニングデータとして与えられる少数の合成データポイントを合成し、結果として元のデータに基づいてトレーニングされたデータを近似するモデルを構築する。
生成モデルの潜在空間における複数の中間特徴ベクトルに多数の画像を蒸留する新しい最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-02T17:59:31Z) - Evaluating the effect of data augmentation and BALD heuristics on
distillation of Semantic-KITTI dataset [63.20765930558542]
Active Learningは、自律運転データセットにおけるLiDAR知覚タスクに対して、比較的未調査のままである。
本研究では,データセット蒸留やコアサブセット選択のタスクに適用したベイズ能動学習手法を評価する。
また,ベイジアンALを用いたデータセット蒸留におけるデータ拡張の適用効果についても検討した。
論文 参考訳（メタデータ） (2023-02-21T13:56:47Z) - A Comprehensive Survey of Dataset Distillation [73.15482472726555]
限られた計算能力で無制限に成長するデータを扱うことは困難になっている。
ディープラーニング技術はこの10年で前例のない発展を遂げた。
本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
論文 参考訳（メタデータ） (2023-01-13T15:11:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。