論文の概要: DD-RobustBench: An Adversarial Robustness Benchmark for Dataset Distillation
- arxiv url: http://arxiv.org/abs/2403.13322v2
- Date: Mon, 27 May 2024 13:11:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 06:26:32.261441
- Title: DD-RobustBench: An Adversarial Robustness Benchmark for Dataset Distillation
- Title（参考訳）: DD-RobustBench:データセット蒸留における逆ロバスト性ベンチマーク
- Authors: Yifan Wu, Jiawei Du, Ping Liu, Yuewei Lin, Wenqing Cheng, Wei Xu,
- Abstract要約: 我々は,蒸留したデータセットの対角的堅牢性を統一的に評価する上で,これまでで最も広範囲なベンチマークを導入する。
TESLAやSRe2Lといった最新の進歩を取り入れることで,これまでの取り組みを大きく拡張する。
また, 蒸留したデータを元のデータセットのトレーニングバッチに組み込むことで, 堅牢性の向上が期待できることがわかった。
- 参考スコア（独自算出の注目度）: 25.7548771762807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dataset distillation is an advanced technique aimed at compressing datasets into significantly smaller counterparts, while preserving formidable training performance. Significant efforts have been devoted to promote evaluation accuracy under limited compression ratio while overlooked the robustness of distilled dataset. In this work, we introduce a comprehensive benchmark that, to the best of our knowledge, is the most extensive to date for evaluating the adversarial robustness of distilled datasets in a unified way. Our benchmark significantly expands upon prior efforts by incorporating a wider range of dataset distillation methods, including the latest advancements such as TESLA and SRe2L, a diverse array of adversarial attack methods, and evaluations across a broader and more extensive collection of datasets such as ImageNet-1K. Moreover, we assessed the robustness of these distilled datasets against representative adversarial attack algorithms like PGD and AutoAttack, while exploring their resilience from a frequency perspective. We also discovered that incorporating distilled data into the training batches of the original dataset can yield to improvement of robustness.
- Abstract（参考訳）: データセットの蒸留は、データセットをはるかに小さく圧縮することを目的とした高度な技術であり、予測可能なトレーニング性能を維持している。
蒸留データセットのロバスト性を見落としながら, 圧縮率の制限による評価精度向上に努力が注がれている。
本研究は,我々の知る限り,蒸留したデータセットの対角的堅牢性を統一的に評価する上で,これまでで最も広範囲なベンチマークである包括的ベンチマークを導入する。
TESLA や SRe2L などの最新の技術,多様な敵攻撃手法,そして ImageNet-1K などのより広範なデータセットコレクションを対象とした評価などを含む,より広い範囲のデータセット蒸留手法を導入することで,これまでの取り組みを大きく拡張する。
さらに,これらの蒸留データセットのPGDやAutoAttackなどの代表的な攻撃アルゴリズムに対する堅牢性を評価し,周波数の観点からそれらのレジリエンスを探求した。
また, 蒸留したデータを元のデータセットのトレーニングバッチに組み込むことで, 堅牢性の向上が期待できることがわかった。
関連論文リスト
- Practical Dataset Distillation Based on Deep Support Vectors [27.16222034423108]
本稿では,データセット全体のごく一部にのみアクセス可能な実運用シナリオにおけるデータセット蒸留に着目した。
本稿では,Deep KKT (DKKT) の損失を付加することにより,一般的なモデル知識を取り入れ,従来のプロセスを強化する新しい蒸留法を提案する。
CIFAR-10データセットのベースライン分布マッチング蒸留法と比較して,本手法では性能が向上した。
論文 参考訳（メタデータ） (2024-05-01T06:41:27Z) - Towards Adversarially Robust Dataset Distillation by Curvature Regularization [11.463315774971857]
蒸留したデータセットに対向ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持し、より良い対向ロバスト性を得る。
そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-15T06:31:03Z) - Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳（メタデータ） (2024-01-29T03:29:39Z) - Towards Efficient Deep Hashing Retrieval: Condensing Your Data via
Feature-Embedding Matching [7.908244841289913]
最先端の深層ハッシュ検索モデルのトレーニングに要する費用は増加している。
最先端のデータセット蒸留法は、すべての深層ハッシュ検索法に拡張できない。
合成集合と実集合との特徴埋め込みをマッチングすることにより,これらの制約に対処する効率的な凝縮フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T13:23:55Z) - Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。
蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。
蒸留における因果関係から最も寄与した試料を見出した。
論文 参考訳（メタデータ） (2023-05-28T06:53:41Z) - A Comprehensive Study on Dataset Distillation: Performance, Privacy,
Robustness and Fairness [8.432686179800543]
我々は,現在最先端のデータセット蒸留法を評価するために,広範囲な実験を行っている。
私たちは、プライバシーリスクがまだ残っていることを示すために、メンバーシップ推論攻撃をうまく利用しています。
この研究は、データセットの蒸留評価のための大規模なベンチマークフレームワークを提供する。
論文 参考訳（メタデータ） (2023-05-05T08:19:27Z) - Dataset Distillation: A Comprehensive Review [76.26276286545284]
データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。
本稿ではDDの最近の進歩とその応用について概説する。
論文 参考訳（メタデータ） (2023-01-17T17:03:28Z) - A Comprehensive Survey of Dataset Distillation [73.15482472726555]
限られた計算能力で無制限に成長するデータを扱うことは困難になっている。
ディープラーニング技術はこの10年で前例のない発展を遂げた。
本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
論文 参考訳（メタデータ） (2023-01-13T15:11:38Z) - Dataset Distillation via Factorization [58.8114016318593]
既存のデータセット蒸留(DD)ベースラインに移植可能なプラグ・アンド・プレイ戦略であるEmphHaBaと呼ばれるEmphdataset Factorizationアプローチを導入する。
emphHaBaは、データセットをデータemphHallucinationネットワークとemphBaseの2つのコンポーネントに分解する方法を探っている。
提案手法は, 圧縮パラメータの総数を最大65%削減しつつ, 下流の分類タスクを従来に比べて大幅に改善することができる。
論文 参考訳（メタデータ） (2022-10-30T08:36:19Z) - DC-BENCH: Dataset Condensation Benchmark [79.18718490863908]
この研究は、データセットの凝縮に関する最初の大規模標準ベンチマークを提供する。
それは、凝縮法の生成可能性と有効性を包括的に反映する一連の評価から成り立っている。
ベンチマークライブラリは、将来の研究とアプリケーションを容易にするためにオープンソース化されている。
論文 参考訳（メタデータ） (2022-07-20T03:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。