論文の概要: Towards Class-wise Fair Adversarial Training via Anti-Bias Soft Label Distillation

• arxiv url: http://arxiv.org/abs/2506.08611v1
• Date: Tue, 10 Jun 2025 09:20:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.156182
• Title: Towards Class-wise Fair Adversarial Training via Anti-Bias Soft Label Distillation
• Title（参考訳）: アンチバイアスソフトラベル蒸留によるクラスワイド公正教育に向けて
• Authors: Shiji Zhao, Chi Chen, Ranjie Duan, Xizhe Wang, Xingxing Wei,
• Abstract要約: 敵対的トレーニング(AT)は、ディープニューラルネットワークの敵対的堅牢性を高める効果的なアプローチとして広く認識されている。 本稿では、この問題の根底にある要因を考察し、異なるクラスに対するソフトラベルの滑らかさの度合いを指摘する。 本稿では,反バイアスソフトラベル蒸留(ABSLD)を知識蒸留フレームワーク内で提案する。
• 参考スコア（独自算出の注目度）: 16.35331551561344
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Adversarial Training (AT) is widely recognized as an effective approach to enhance the adversarial robustness of Deep Neural Networks. As a variant of AT, Adversarial Robustness Distillation (ARD) has shown outstanding performance in enhancing the robustness of small models. However, both AT and ARD face robust fairness issue: these models tend to display strong adversarial robustness against some classes (easy classes) while demonstrating weak adversarial robustness against others (hard classes). This paper explores the underlying factors of this problem and points out the smoothness degree of soft labels for different classes significantly impacts the robust fairness from both empirical observation and theoretical analysis. Based on the above exploration, we propose Anti-Bias Soft Label Distillation (ABSLD) within the Knowledge Distillation framework to enhance the adversarial robust fairness. Specifically, ABSLD adaptively reduces the student's error risk gap between different classes, which is accomplished by adjusting the class-wise smoothness degree of teacher's soft labels during the training process, and the adjustment is managed by assigning varying temperatures to different classes. Additionally, as a label-based approach, ABSLD is highly adaptable and can be integrated with the sample-based methods. Extensive experiments demonstrate ABSLD outperforms state-of-the-art methods on the comprehensive performance of robustness and fairness.
• Abstract（参考訳）: 敵対的トレーニング(AT)は、ディープニューラルネットワークの敵対的堅牢性を高める効果的なアプローチとして広く認識されている。 ATの変種として、小モデルのロバスト性向上に優れた性能を示した。 しかし、ATモデルとARDモデルの両方が堅牢な公正性の問題に直面しており、これらのモデルはいくつかのクラス(イージークラス)に対して強い敵対的堅牢性を示す一方で、他のクラス(ハードクラス)に対して弱い敵対的堅牢性を示す傾向にある。 本稿では,この問題の根底にある要因を考察し,異なるクラスに対するソフトラベルの滑らか度は,経験的観察と理論的解析の両方から,ロバスト公正性に大きく影響することを示した。 以上の探索に基づいて, 対向的頑健性を高めるために, 知識蒸留フレームワーク内でのアンチバイアスソフトラベル蒸留(ABSLD)を提案する。 具体的には、ABSLDは、訓練過程中に教師のソフトラベルのクラス単位の滑らか度を調整し、異なるクラスに異なる温度を割り当てることで、生徒のエラーリスクギャップを適応的に低減し、調整を行う。 さらに、ラベルベースのアプローチとして、ABSLDは高度に適応可能であり、サンプルベースのメソッドと統合することができる。 ABSLDは、強靭性と公正性の総合的な性能について、最先端の手法よりも優れていることを示した。

関連論文リスト

• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Towards Fairness-Aware Adversarial Learning [13.932705960012846]
  フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。 提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。 特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
  論文  参考訳（メタデータ） (2024-02-27T18:01:59Z)
• DAFA: Distance-Aware Fair Adversarial Training [34.94780532071229]
  敵対的攻撃の下では、最悪のクラスからのサンプルに対するモデルの予測の大半は、最悪のクラスと同様のクラスに偏っている。 本稿では,クラス間の類似性を考慮し,頑健な公正性に対処するDAFA手法を提案する。
  論文  参考訳（メタデータ） (2024-01-23T07:15:47Z)
• Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation [14.163463596459064]
  ディープニューラルネットワーク(DNN)の対向的強靭性を改善するための効果的な手法として、対戦型トレーニング(AT)が広く証明されている。 ATの変種として、小学生モデルの堅牢性を改善する上で、ARD(Adversarial Robustness Distillation)が優れた性能を示した。 本稿では, 知識蒸留(KD)の枠組みにおいて, 対向性頑健性問題を軽減するためのアンチバイアスソフトラベル蒸留(ABSLD)法を提案する。
  論文  参考訳（メタデータ） (2023-12-09T09:08:03Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Improving Robust Fairness via Balance Adversarial Training [51.67643171193376]
  対人訓練 (AT) 法は, 対人攻撃に対して有効であるが, 異なるクラス間での精度と頑健さの相違が激しい。 本稿では,頑健な公正性問題に対処するために,BAT(Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T14:44:48Z)
• Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better [66.69777970159558]
  本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。 我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2021-08-18T04:32:35Z)
• Analysis and Applications of Class-wise Robustness in Adversarial Training [92.08430396614273]
  敵の訓練は、敵の例に対するモデルロバスト性を改善するための最も効果的な手法の1つである。 従来の研究は主にモデルの全体的な堅牢性に焦点を当てており、各クラスの役割に関する詳細な分析はいまだに欠落している。 MNIST, CIFAR-10, CIFAR-100, SVHN, STL-10, ImageNetの6つのベンチマークデータセットに対して, 逆トレーニングの詳細な診断を行う。 対戦型学習におけるより強力な攻撃手法は、主に脆弱なクラスに対するより成功した攻撃から、性能の向上を達成することを観察する。
  論文  参考訳（メタデータ） (2021-05-29T07:28:35Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。