論文の概要: FERD: Fairness-Enhanced Data-Free Robustness Distillation

• arxiv url: http://arxiv.org/abs/2509.20793v2
• Date: Fri, 26 Sep 2025 12:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.780724
• Title: FERD: Fairness-Enhanced Data-Free Robustness Distillation
• Title（参考訳）: FERD:Fairness-Enhanced Data-free Robustness Distillation
• Authors: Zhengxiao Li, Liming Lu, Xu Zheng, Siyuan Liang, Zhenghan Chen, Yongbin Zhou, Shuchao Pang,
• Abstract要約: 本稿では,Fairness-Enhanced data-free Robustness Distillation (FERD) フレームワークを提案する。 FERDは、あらゆる敵攻撃の下で最先端の最悪のクラスロバスト性を達成する。
• 参考スコア（独自算出の注目度）: 33.11199368530121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Free Robustness Distillation (DFRD) aims to transfer the robustness from the teacher to the student without accessing the training data. While existing methods focus on overall robustness, they overlook the robust fairness issues, leading to severe disparity of robustness across different categories. In this paper, we find two key problems: (1) student model distilled with equal class proportion data behaves significantly different across distinct categories; and (2) the robustness of student model is not stable across different attacks target. To bridge these gaps, we present the first Fairness-Enhanced data-free Robustness Distillation (FERD) framework to adjust the proportion and distribution of adversarial examples. For the proportion, FERD adopts a robustness-guided class reweighting strategy to synthesize more samples for the less robust categories, thereby improving robustness of them. For the distribution, FERD generates complementary data samples for advanced robustness distillation. It generates Fairness-Aware Examples (FAEs) by enforcing a uniformity constraint on feature-level predictions, which suppress the dominance of class-specific non-robust features, providing a more balanced representation across all categories. Then, FERD constructs Uniform-Target Adversarial Examples (UTAEs) from FAEs by applying a uniform target class constraint to avoid biased attack directions, which distribute the attack targets across all categories and prevents overfitting to specific vulnerable categories. Extensive experiments on three public datasets show that FERD achieves state-of-the-art worst-class robustness under all adversarial attack (e.g., the worst-class robustness under FGSM and AutoAttack are improved by 15.1\% and 6.4\% using MobileNet-V2 on CIFAR-10), demonstrating superior performance in both robustness and fairness aspects.
• Abstract（参考訳）: Data-Free Robustness Distillation (DFRD) は、学習データにアクセスせずに教師から生徒に頑健さを伝達することを目的としている。 既存の手法は全体的な堅牢性に重点を置いているが、それらは頑健な公正性の問題を見落とし、様々なカテゴリーで頑健性の深刻な相違をもたらす。 本稿では,(1) 同類比例データで蒸留した学生モデルは, 異なるカテゴリーで大きく異なる挙動をとっており, (2) 学生モデルのロバスト性は, 異なる攻撃対象に対して安定しない。 これらのギャップを埋めるため,Fairness-Enhanced data-free Robustness Distillation (FERD) フレームワークを提案する。 ferDはロバスト性誘導型クラス再重み付け戦略を採用し、よりロバストでないカテゴリに対してより多くのサンプルを合成し、ロバスト性を向上させる。 この分布について、FERDは高度な堅牢性蒸留のための相補的なデータサンプルを生成する。 特徴レベルの予測に一様性制約を課すことにより、Fairness-Aware Examples (FAEs) を生成する。 次に、FERDは、すべてのカテゴリに攻撃対象を分散させ、特定の脆弱なカテゴリに過度に適合しないように、均一なターゲットクラス制約を適用して、FAEから一様ターゲット適応例(UTAE)を構築する。 3つの公開データセットに対する大規模な実験により、FERDはあらゆる敵攻撃(例えば、FGSMとAutoAttackにおける最悪のクラスロバスト性は、CIFAR-10でMobileNet-V2を使用して15.1\%と6.4\%に改善され、ロバスト性と公正性の両方において優れたパフォーマンスを示す。

関連論文リスト

• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Towards Fairness-Aware Adversarial Learning [13.932705960012846]
  フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。 提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。 特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
  論文  参考訳（メタデータ） (2024-02-27T18:01:59Z)
• Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation [14.163463596459064]
  ディープニューラルネットワーク(DNN)の対向的強靭性を改善するための効果的な手法として、対戦型トレーニング(AT)が広く証明されている。 ATの変種として、小学生モデルの堅牢性を改善する上で、ARD(Adversarial Robustness Distillation)が優れた性能を示した。 本稿では, 知識蒸留(KD)の枠組みにおいて, 対向性頑健性問題を軽減するためのアンチバイアスソフトラベル蒸留(ABSLD)法を提案する。
  論文  参考訳（メタデータ） (2023-12-09T09:08:03Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Improving Robust Fairness via Balance Adversarial Training [51.67643171193376]
  対人訓練 (AT) 法は, 対人攻撃に対して有効であるが, 異なるクラス間での精度と頑健さの相違が激しい。 本稿では,頑健な公正性問題に対処するために,BAT(Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T14:44:48Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。