論文の概要: Hard Adversarial Example Mining for Improving Robust Fairness
- arxiv url: http://arxiv.org/abs/2308.01823v1
- Date: Thu, 3 Aug 2023 15:33:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 13:37:36.881791
- Title: Hard Adversarial Example Mining for Improving Robust Fairness
- Title(参考訳): ロバストフェアネス向上のためのハード・ディバーショナル・サンプルマイニング
- Authors: Chenhao Lin, Xiang Ji, Yulong Yang, Qian Li, Chao Shen, Run Wang,
Liming Fang
- Abstract要約: 敵対的トレーニング(AT)は、敵対的事例(AE)に対するディープニューラルネットワーク(DNN)の堅牢性を改善するための最先端技術として広く考えられている。
近年の研究では、敵に訓練されたモデルは不公平な問題を起こしやすく、適用性が制限されていることが明らかになっている。
この問題を軽減するために,適応型ハード・アドバイザリの例である Mining.HAM を用いて,単純かつ効果的なフレームワーク HAM を提案する。
- 参考スコア(独自算出の注目度): 18.02943802341582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training (AT) is widely considered the state-of-the-art technique
for improving the robustness of deep neural networks (DNNs) against adversarial
examples (AE). Nevertheless, recent studies have revealed that adversarially
trained models are prone to unfairness problems, restricting their
applicability. In this paper, we empirically observe that this limitation may
be attributed to serious adversarial confidence overfitting, i.e., certain
adversarial examples with overconfidence. To alleviate this problem, we propose
HAM, a straightforward yet effective framework via adaptive Hard Adversarial
example Mining.HAM concentrates on mining hard adversarial examples while
discarding the easy ones in an adaptive fashion. Specifically, HAM identifies
hard AEs in terms of their step sizes needed to cross the decision boundary
when calculating loss value. Besides, an early-dropping mechanism is
incorporated to discard the easy examples at the initial stages of AE
generation, resulting in efficient AT. Extensive experimental results on
CIFAR-10, SVHN, and Imagenette demonstrate that HAM achieves significant
improvement in robust fairness while reducing computational cost compared to
several state-of-the-art adversarial training methods. The code will be made
publicly available.
- Abstract(参考訳): 敵対的トレーニング(AT)は、敵対的例(AE)に対するディープニューラルネットワーク(DNN)の堅牢性を改善するための最先端技術として広く考えられている。
しかし、近年の研究では、敵対的に訓練されたモデルは不公平な問題を起こしやすく、適用性が制限されていることが判明している。
本稿では,この制限が,信頼感の過剰さ,すなわち信頼感の過剰さに起因している可能性があることを実証的に観察する。
この問題を軽減するため,我々は,適応型ハード・アドバーサル・サンプル・マイニング(adaptive hard adversarial example mining)による単純かつ効果的なフレームワークであるhamを提案する。
特に、HAMは、損失値を計算する際に決定境界を越えるために必要なステップサイズでハードAEを特定する。
さらに、早期投棄機構を組み込んで、AE発生の初期段階で簡単な例を廃棄し、効率的なATを実現する。
CIFAR-10, SVHN, Imagenette の大規模な実験結果から, HAM はいくつかの最先端の対角訓練法と比較して計算コストを低減しつつ, 頑健な公正性を大幅に向上することを示した。
コードは公開される予定だ。
関連論文リスト
- Eliminating Catastrophic Overfitting Via Abnormal Adversarial Examples Regularization [50.43319961935526]
SSAT(Single-step adversarial training)は、効率性と堅牢性の両方を達成する可能性を実証している。
SSATは破滅的なオーバーフィッティング(CO)に苦しむが、これは非常に歪んだ分類器に繋がる現象である。
本研究では,SSAT学習ネットワーク上で発生するいくつかの逆の例が異常な振る舞いを示すことを観察する。
論文 参考訳(メタデータ) (2024-04-11T22:43:44Z) - Improving Adversarial Training using Vulnerability-Aware Perturbation
Budget [7.430861908931903]
敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワーク(DNN)の堅牢性を効果的に改善する。
本稿では,AT の逆例に摂動境界を割り当てる簡易で安価な脆弱性認識型再重み付け関数を提案する。
実験の結果,提案手法は様々な攻撃に対してATアルゴリズムの頑健さを真に向上させることがわかった。
論文 参考訳(メタデータ) (2024-03-06T21:50:52Z) - Perturbation-Invariant Adversarial Training for Neural Ranking Models:
Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
正統な文書に不可避な摂動を加えることで 敵の例を作れます
この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。
本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
論文 参考訳(メタデータ) (2023-12-16T05:38:39Z) - AFLOW: Developing Adversarial Examples under Extremely Noise-limited
Settings [7.828994881163805]
ディープニューラルネットワーク(DNN)は、敵の攻撃に対して脆弱である。
本稿では,AFLOW と呼ばれる新しい正規化フローベースのエンドツーエンドアタックフレームワークを提案する。
既存の手法と比較すると、AFLOWは認識不能性、画質、攻撃能力に優れていた。
論文 参考訳(メタデータ) (2023-10-15T10:54:07Z) - Reducing Adversarial Training Cost with Gradient Approximation [0.3916094706589679]
そこで本研究では,厳密なモデル構築に要するコストを削減するために,GAAT(グラディエント近似)を用いた対戦訓練法を提案する。
提案手法は,データセット上でのモデルテスト精度に比較して,トレーニング時間の最大60%を節約する。
論文 参考訳(メタデータ) (2023-09-18T03:55:41Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - Revisiting and Advancing Adversarial Training Through A Simple Baseline [7.226961695849204]
我々はSimpleATと呼ばれるシンプルなベースラインアプローチを導入し、最近の手法と競合し、堅牢なオーバーフィッティングを緩和する。
我々はCIFAR-10/100とTiny-ImageNetで広範囲に実験を行い、SimpleATの最先端の敵攻撃に対する堅牢性を検証する。
以上の結果から,SimpleATと先進的対人防御手法の相互関係が明らかとなった。
論文 参考訳(メタデータ) (2023-06-13T08:12:52Z) - Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。
本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-08T07:40:55Z) - Towards Speeding up Adversarial Training in Latent Spaces [8.054201249492582]
そこで本研究では,現実の敵の例を生成する必要のない,新たな敵の訓練手法を提案する。
我々は、多様体の理論により内在的逆例(EAEs)の存在について深い洞察を得る。
EAE対人訓練はトレーニング時間を短縮するだけでなく、モデルの堅牢性を高める。
論文 参考訳(メタデータ) (2021-02-01T06:30:32Z) - A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack
and Learning [122.49765136434353]
本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。
また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。
いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
論文 参考訳(メタデータ) (2020-10-15T16:07:26Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳(メタデータ) (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。