Fugu-MT 論文翻訳(概要): Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation

論文の概要: Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation

arxiv url: http://arxiv.org/abs/2312.05508v1
Date: Sat, 9 Dec 2023 09:08:03 GMT
ステータス: 処理完了
システム内更新日: 2023-12-12 20:23:43.128121
Title: Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation
Title（参考訳）: 抗バイアスソフトラベル蒸留による対向ロバストな公平性の改善
Authors: Shiji Zhao, Xizhe Wang, Xingxing Wei
Abstract要約: ディープニューラルネットワーク(DNN)の対向的強靭性を改善するための効果的な手法として、対戦型トレーニング(AT)が広く証明されている。 ATの変種として、小学生モデルの堅牢性を改善する上で、ARD(Adversarial Robustness Distillation)が優れた性能を示した。本稿では, 知識蒸留(KD)の枠組みにおいて, 対向性頑健性問題を軽減するためのアンチバイアスソフトラベル蒸留(ABSLD)法を提案する。
参考スコア（独自算出の注目度）: 13.934784414106087
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial Training (AT) has been widely proved to be an effective method to improve the adversarial robustness against adversarial examples for Deep Neural Networks (DNNs). As a variant of AT, Adversarial Robustness Distillation (ARD) has demonstrated its superior performance in improving the robustness of small student models with the guidance of large teacher models. However, both AT and ARD encounter the robust fairness problem: these models exhibit strong robustness when facing part of classes (easy class), but weak robustness when facing others (hard class). In this paper, we give an in-depth analysis of the potential factors and argue that the smoothness degree of samples' soft labels for different classes (i.e., hard class or easy class) will affect the robust fairness of DNN models from both empirical observation and theoretical analysis. Based on the above finding, we propose an Anti-Bias Soft Label Distillation (ABSLD) method to mitigate the adversarial robust fairness problem within the framework of Knowledge Distillation (KD). Specifically, ABSLD adaptively reduces the student's error risk gap between different classes to achieve fairness by adjusting the class-wise smoothness degree of samples' soft labels during the training process, and the smoothness degree of soft labels is controlled by assigning different temperatures in KD to different classes. Extensive experiments demonstrate that ABSLD outperforms state-of-the-art AT, ARD, and robust fairness methods in terms of overall performance of robustness and fairness.
Abstract（参考訳）: ディープニューラルネット(DNN)の敵対的事例に対する敵対的堅牢性を改善するための効果的な方法として、AT(Adversarial Training)が広く証明されている。 ATの変種であるARD(Adversarial Robustness Distillation)は、大規模教師モデルの指導による小学生モデルの堅牢性向上に優れた性能を示した。しかし、ATモデルとARDモデルの両方が頑健な公正性問題に遭遇し、これらのモデルはクラスの一部(容易なクラス)に直面した時に強い堅牢性を示す。本稿では,潜在的な要因を詳細に分析し,異なるクラス(ハードクラスやイージークラスなど)におけるサンプルのソフトラベルの滑らかさが,実験的観察と理論解析の両方からdnnモデルのロバストな公平性に与える影響を論じる。以上の知見に基づいて, 知識蒸留(KD)の枠組みにおいて, 対向的頑健な公正性問題を緩和するアンチバイアスソフトラベル蒸留(ABSLD)法を提案する。具体的には、訓練過程におけるサンプルソフトラベルのクラス毎の平滑度を調整し、異なるクラスにkdの異なる温度を割り当ててソフトラベルの平滑度を制御することにより、異なるクラス間の学生のエラーリスクギャップを適応的に低減し、公平性を達成する。大規模な実験により、ABSLDは現状のAT、ARD、ロバストフェアネス法よりも、ロバストネスとフェアネスの全体的な性能において優れていることが示された。

関連論文リスト

Soften to Defend: Towards Adversarial Robustness via Self-Guided Label Refinement [5.865750284677784]
敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワークの堅牢性を得る最も効果的な方法の1つである。 AT法は頑健なオーバーフィッティング、すなわちトレーニング曲線とテスト曲線の間の大きな一般化ギャップに悩まされている。本稿では,AT のラベルリファインメント手法を提案する。この手法は,高信頼のハードラベルから,より正確かつ情報的なラベル分布を自己定義する。
論文参考訳（メタデータ） (2024-03-14T04:48:31Z)
Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文参考訳（メタデータ） (2024-03-05T09:18:29Z)
Towards Fairness-Aware Adversarial Learning [13.932705960012846]
フェアネス・アウェア・アドバーサリアル・ラーニング(FAAL)という新しい学習パラダイムを提案する。提案手法は,異なるカテゴリ間で最悪の分布を求めることを目的としており,高い確率で上界性能が得られることを保証している。特にFAALは、不公平なロバストモデルを2つのエポックで公平に調整できるが、全体的なクリーンで堅牢なアキュラシーを損なうことはない。
論文参考訳（メタデータ） (2024-02-27T18:01:59Z)
DAFA: Distance-Aware Fair Adversarial Training [34.94780532071229]
敵対的攻撃の下では、最悪のクラスからのサンプルに対するモデルの予測の大半は、最悪のクラスと同様のクラスに偏っている。本稿では,クラス間の類似性を考慮し,頑健な公正性に対処するDAFA手法を提案する。
論文参考訳（メタデータ） (2024-01-23T07:15:47Z)
Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文参考訳（メタデータ） (2023-08-01T06:16:18Z)
Adversarial Contrastive Distillation with Adaptive Denoising [15.119013995045192]
小型モデルのロバスト性を高めるために, コントラスト相関脱ノイズ蒸留法 (CRDND) を提案する。 CRDNDは、堅牢な知識を効率的に伝達し、最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-02-17T09:00:18Z)
SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2023-01-26T03:53:25Z)
Improving Robust Fairness via Balance Adversarial Training [51.67643171193376]
対人訓練 (AT) 法は, 対人攻撃に対して有効であるが, 異なるクラス間での精度と頑健さの相違が激しい。本稿では,頑健な公正性問題に対処するために,BAT(Adversarial Training)を提案する。
論文参考訳（メタデータ） (2022-09-15T14:44:48Z)
Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。実験結果から,これらの手法が直面する課題を分析した。本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文参考訳（メタデータ） (2022-03-23T07:33:37Z)
Revisiting Adversarial Robustness Distillation: Robust Soft Labels Make Student Better [66.69777970159558]
本稿では,ロバスト軟ラベル蒸留法(RSLAD)と呼ばれる新しい対向ロバスト蒸留法を提案する。 RSLADは、学生の学習をガイドするために、頑健な(逆向きに訓練された)大きな教師モデルによって生成される頑健なソフトラベルを完全に活用する。我々は,既存の逆行訓練および蒸留法に対するRSLADアプローチの有効性を実証的に実証した。
論文参考訳（メタデータ） (2021-08-18T04:32:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。