論文の概要: Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation

• arxiv url: http://arxiv.org/abs/2312.05508v3
• Date: Thu, 31 Oct 2024 09:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 23:41:26.642340
• Title: Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation
• Title（参考訳）: アンチバイアスソフトラベル蒸留による対向性ロバストフェアネスの改善
• Authors: Shiji Zhao, Ranjie Duan, Xizhe Wang, Xingxing Wei,
• Abstract要約: ディープニューラルネットワーク(DNN)の対向的強靭性を改善するための効果的な手法として、対戦型トレーニング(AT)が広く証明されている。 ATの変種として、小学生モデルの堅牢性を改善する上で、ARD(Adversarial Robustness Distillation)が優れた性能を示した。 本稿では, 知識蒸留(KD)の枠組みにおいて, 対向性頑健性問題を軽減するためのアンチバイアスソフトラベル蒸留(ABSLD)法を提案する。
• 参考スコア（独自算出の注目度）: 14.163463596459064
• License:
• Abstract: Adversarial Training (AT) has been widely proved to be an effective method to improve the adversarial robustness against adversarial examples for Deep Neural Networks (DNNs). As a variant of AT, Adversarial Robustness Distillation (ARD) has demonstrated its superior performance in improving the robustness of small student models with the guidance of large teacher models. However, both AT and ARD encounter the robust fairness problem: these models exhibit strong robustness when facing part of classes (easy class), but weak robustness when facing others (hard class). In this paper, we give an in-depth analysis of the potential factors and argue that the smoothness degree of samples' soft labels for different classes (i.e., hard class or easy class) will affect the robust fairness of DNNs from both empirical observation and theoretical analysis. Based on the above finding, we propose an Anti-Bias Soft Label Distillation (ABSLD) method to mitigate the adversarial robust fairness problem within the framework of Knowledge Distillation (KD). Specifically, ABSLD adaptively reduces the student's error risk gap between different classes to achieve fairness by adjusting the class-wise smoothness degree of samples' soft labels during the training process, and the smoothness degree of soft labels is controlled by assigning different temperatures in KD to different classes. Extensive experiments demonstrate that ABSLD outperforms state-of-the-art AT, ARD, and robust fairness methods in the comprehensive metric (Normalized Standard Deviation) of robustness and fairness.
• Abstract（参考訳）: ディープニューラルネット(DNN)の敵対的事例に対する敵対的堅牢性を改善するための効果的な方法として、AT(Adversarial Training)が広く証明されている。 ATの変種であるARD(Adversarial Robustness Distillation)は、大規模教師モデルの指導による小学生モデルの堅牢性向上に優れた性能を示した。 しかし、ATモデルとARDモデルの両方が頑健な公正性問題に直面する:これらのモデルは、クラスの一部(容易なクラス)に対向するときに強い堅牢性を示すが、他のクラス(硬いクラス)に対向する場合には弱い堅牢性を示す。 本稿では,様々なクラス(ハードクラスや簡単なクラス)のサンプルのソフトラベルの滑らか度が,経験的観察と理論的解析の両方からDNNの堅牢な公正性に影響を与えることを論じる。 以上の知見に基づいて, 知識蒸留(KD)の枠組みにおいて, 対向的頑健な公正性問題を緩和するアンチバイアスソフトラベル蒸留(ABSLD)法を提案する。 特に、ABSLDは、訓練過程中にサンプルのソフトラベルのクラスワイドな滑らか度を調整することで、異なるクラス間のエラーリスクギャップを適応的に低減し、異なるクラスに異なる温度を割り当てることでソフトラベルの滑らか度を制御する。 広範囲にわたる実験により、ABSLDは、堅牢性と公正性の総合的計量(Normalized Standard Deviation)において、最先端のAT、ARD、ロバストフェアネス法よりも優れていることが示された。

関連論文リスト

• Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement [5.865750284677784]
  敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。 AT法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の大きな一般化ギャップに悩まされている。 本稿では,AT のラベルリファインメント手法を提案する。この手法は,高信頼のハードラベルから,より正確かつ情報的なラベル分布を自己定義する。
  論文  参考訳（メタデータ） (2024-03-14T04:48:31Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Towards Fairness-Aware Adversarial Learning [13.932705960012846]
  フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。 提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。 特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
  論文  参考訳（メタデータ） (2024-02-27T18:01:59Z)
• DAFA: Distance-Aware Fair Adversarial Training [34.94780532071229]
  敵対的攻撃の下では、最悪のクラスからのサンプルに対するモデルの予測の大半は、最悪のクラスと同様のクラスに偏っている。 本稿では,クラス間の類似性を考慮し,頑健な公正性に対処するDAFA手法を提案する。
  論文  参考訳（メタデータ） (2024-01-23T07:15:47Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Adversarial Contrastive Distillation with Adaptive Denoising [15.119013995045192]
  小型モデルのロバスト性を高めるために, コントラスト相関脱ノイズ蒸留法 (CRDND) を提案する。 CRDNDは、堅牢な知識を効率的に伝達し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-02-17T09:00:18Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Improving Robust Fairness via Balance Adversarial Training [51.67643171193376]
  対人訓練 (AT) 法は, 対人攻撃に対して有効であるが, 異なるクラス間での精度と頑健さの相違が激しい。 本稿では,頑健な公正性問題に対処するために,BAT(Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T14:44:48Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better [66.69777970159558]
  本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。 我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2021-08-18T04:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。