論文の概要: Towards Adversarially Robust Dataset Distillation by Curvature Regularization

• arxiv url: http://arxiv.org/abs/2403.10045v1
• Date: Fri, 15 Mar 2024 06:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:29:12.337761
• Title: Towards Adversarially Robust Dataset Distillation by Curvature Regularization
• Title（参考訳）: 曲率正規化による逆ロバストデータセット蒸留に向けて
• Authors: Eric Xue, Yijiang Li, Haoyang Liu, Yifan Shen, Haohan Wang,
• Abstract要約: 蒸留したデータセットに対向ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持し、より良い対向ロバスト性を得る。 そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 11.463315774971857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataset distillation (DD) allows datasets to be distilled to fractions of their original size while preserving the rich distributional information so that models trained on the distilled datasets can achieve a comparable accuracy while saving significant computational loads. Recent research in this area has been focusing on improving the accuracy of models trained on distilled datasets. In this paper, we aim to explore a new perspective of DD. We study how to embed adversarial robustness in distilled datasets, so that models trained on these datasets maintain the high accuracy and meanwhile acquire better adversarial robustness. We propose a new method that achieves this goal by incorporating curvature regularization into the distillation process with much less computational overhead than standard adversarial training. Extensive empirical experiments suggest that our method not only outperforms standard adversarial training on both accuracy and robustness with less computation overhead but is also capable of generating robust distilled datasets that can withstand various adversarial attacks.
• Abstract（参考訳）: データセット蒸留(DD)により、データセットを元のサイズの分数に蒸留し、豊富な分散情報を保存し、蒸留されたデータセットでトレーニングされたモデルが、計算負荷を大幅に節約しながら、同等の精度を達成できる。 この領域の最近の研究は、蒸留データセットで訓練されたモデルの精度向上に重点を置いている。 本稿では,DDの新たな視点を探究する。 蒸留されたデータセットに敵対的ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持しつつ、より良い敵的ロバスト性を得る。 そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。 実験結果から,本手法は,計算オーバーヘッドの少ない精度と堅牢性を両立させるだけでなく,種々の敵攻撃に耐えられる頑健な蒸留データセットを生成できることが示唆された。

関連論文リスト

• Exploring the potential of prototype-based soft-labels data distillation for imbalanced data classification [0.0]
  主な目的は、分類精度の観点からプロトタイプベースの軟質ラベル蒸留の性能を高めることである。 実験的研究は、この方法でデータを蒸留する能力だけでなく、増量法として機能する機会も追求している。
  論文  参考訳（メタデータ） (2024-03-25T19:15:19Z)
• DD-RobustBench: An Adversarial Robustness Benchmark for Dataset Distillation [25.754877176280708]
  我々は,蒸留したデータセットの対角的堅牢性を統一的に評価する上で,これまでで最も広範囲なベンチマークを導入する。 TESLAやSRe2Lといった最新の進歩を取り入れることで,これまでの取り組みを大きく拡張する。 また, 蒸留したデータを元のデータセットのトレーニングバッチに組み込むことで, 堅牢性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-03-20T06:00:53Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Distill Gold from Massive Ores: Bi-level Data Pruning towards Efficient Dataset Distillation [96.92250565207017]
  本研究では,データセット蒸留作業におけるデータ効率と選択について検討する。 蒸留の力学を再現することにより、実際のデータセットに固有の冗長性についての洞察を提供する。 蒸留における因果関係から最も寄与した試料を見出した。
  論文  参考訳（メタデータ） (2023-05-28T06:53:41Z)
• A Comprehensive Study on Dataset Distillation: Performance, Privacy, Robustness and Fairness [8.432686179800543]
  我々は,現在最先端のデータセット蒸留法を評価するために,広範囲な実験を行っている。 私たちは、プライバシーリスクがまだ残っていることを示すために、メンバーシップ推論攻撃をうまく利用しています。 この研究は、データセットの蒸留評価のための大規模なベンチマークフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-05T08:19:27Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。