論文の概要: Revisiting Adversarial Training under Long-Tailed Distributions
- arxiv url: http://arxiv.org/abs/2403.10073v1
- Date: Fri, 15 Mar 2024 07:29:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 18:09:44.096597
- Title: Revisiting Adversarial Training under Long-Tailed Distributions
- Title（参考訳）: 長期配電環境下における対人訓練の見直し
- Authors: Xinli Yue, Ningping Mou, Qian Wang, Lingchen Zhao,
- Abstract要約: 敵の訓練は、このような攻撃に対抗する最も効果的な方法の1つとして認識されている。
Balanced Softmax Loss単独で、トレーニングオーバーヘッドを大幅に削減しつつ、完全なRoBalアプローチに匹敵するパフォーマンスを実現することができることを示す。
これを解決するために,データ拡張をソリューションとして検討し,バランスの取れたデータと異なり,データ拡張は頑健なオーバーフィッティングを効果的に軽減するだけでなく,ロバスト性も著しく改善することを示した。
- 参考スコア（独自算出の注目度）: 8.187045490998269
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are vulnerable to adversarial attacks, often leading to erroneous outputs. Adversarial training has been recognized as one of the most effective methods to counter such attacks. However, existing adversarial training techniques have predominantly been tested on balanced datasets, whereas real-world data often exhibit a long-tailed distribution, casting doubt on the efficacy of these methods in practical scenarios. In this paper, we delve into adversarial training under long-tailed distributions. Through an analysis of the previous work "RoBal", we discover that utilizing Balanced Softmax Loss alone can achieve performance comparable to the complete RoBal approach while significantly reducing training overheads. Additionally, we reveal that, similar to uniform distributions, adversarial training under long-tailed distributions also suffers from robust overfitting. To address this, we explore data augmentation as a solution and unexpectedly discover that, unlike results obtained with balanced data, data augmentation not only effectively alleviates robust overfitting but also significantly improves robustness. We further investigate the reasons behind the improvement of robustness through data augmentation and identify that it is attributable to the increased diversity of examples. Extensive experiments further corroborate that data augmentation alone can significantly improve robustness. Finally, building on these findings, we demonstrate that compared to RoBal, the combination of BSL and data augmentation leads to a +6.66% improvement in model robustness under AutoAttack on CIFAR-10-LT. Our code is available at https://github.com/NISPLab/AT-BSL .
- Abstract（参考訳）: ディープニューラルネットワークは敵の攻撃に弱いため、しばしば誤った出力につながる。
敵の訓練は、このような攻撃に対抗する最も効果的な方法の1つとして認識されている。
しかし、既存の敵の訓練技術は、主にバランスの取れたデータセットでテストされているのに対し、実世界のデータはしばしば長い尾の分布を示しており、実際的なシナリオにおけるこれらの手法の有効性に疑問を呈している。
本稿では,長期分布下での対人訓練について検討する。
以前の研究 "RoBal" の分析により,バランスド・ソフトマックス・ロスのみを用いることで,トレーニングのオーバーヘッドを大幅に削減しつつ,完全なRoBalアプローチに匹敵するパフォーマンスを達成できることが判明した。
さらに、一様分布と同様に、長い尾分布下での敵の訓練も頑健なオーバーフィッティングに苦しむことが明らかとなった。
これを解決するために,データ拡張をソリューションとして検討し,バランスの取れたデータと異なり,データ拡張は頑健なオーバーフィッティングを効果的に軽減するだけでなく,ロバスト性も著しく改善することを示した。
さらに,データ拡張によるロバスト性向上の背景にある理由を考察し,それが事例の多様性の増大に起因することを明らかにする。
大規模な実験は、データ拡張だけでロバスト性を大幅に改善できることをさらに裏付ける。
最後に、これらの結果に基づいて、RoBalと比較して、BSLとデータ拡張の組み合わせは、CIFAR-10-LT上でAutoAttackの下でモデルロバスト性を+6.66%向上させることを示した。
私たちのコードはhttps://github.com/NISPLab/AT-BSL で利用可能です。
関連論文リスト
- Defending Against Sophisticated Poisoning Attacks with RL-based Aggregation in Federated Learning [12.352511156767338]
フェデレート学習は、毒殺攻撃のモデル化に非常に影響を受けやすい。
本稿では,RLに基づくアダプティブアグリゲーション手法であるAdaAggRLを提案する。
4つの実世界のデータセットの実験により、提案された防衛モデルは高度な攻撃に対して広く採用されている防衛モデルよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2024-06-20T11:33:14Z) - Orthogonal Uncertainty Representation of Data Manifold for Robust
Long-Tailed Learning [52.021899899683675]
長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。
モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2023-10-16T05:50:34Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-01T06:16:18Z) - Alleviating the Effect of Data Imbalance on Adversarial Training [26.36714114672729]
長い尾の分布に従うデータセットの逆トレーニングについて検討する。
我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
論文 参考訳（メタデータ） (2023-07-14T07:01:48Z) - A Data-Centric Approach for Improving Adversarial Training Through the
Lens of Out-of-Distribution Detection [0.4893345190925178]
複雑なアルゴリズムを適用して効果を緩和するのではなく, トレーニング手順から直接ハードサンプルを検出し, 除去することを提案する。
SVHN と CIFAR-10 データセットを用いた結果,計算コストの増大を伴わずに対角訓練の改善に本手法の有効性が示された。
論文 参考訳（メタデータ） (2023-01-25T08:13:50Z) - How Much Data Are Augmentations Worth? An Investigation into Scaling
Laws, Invariance, and Implicit Regularization [76.58017437197859]
アウト・オブ・ディストリビューションテストのシナリオでは、多種多様なサンプルを生成するが、データ分散と矛盾しない増分は、追加のトレーニングデータよりもさらに価値がある。
トレーニング中に増強が付加性をもたらし、損失景観を効果的に平らにすることを示す。
論文 参考訳（メタデータ） (2022-10-12T17:42:01Z) - Efficient Adversarial Training With Data Pruning [26.842714298874192]
我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。
一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
論文 参考訳（メタデータ） (2022-07-01T23:54:46Z) - Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。
本研究では,長尾分布下における敵対的脆弱性と防御について検討する。
我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
論文 参考訳（メタデータ） (2021-04-06T17:53:08Z) - Consistency Regularization for Adversarial Robustness [88.65786118562005]
adversarial trainingは、ディープニューラルネットワークの敵対的堅牢性を得るために最も成功した方法の1つである。
しかし、ATから得られる堅牢性の大幅な一般化ギャップは問題視されている。
本稿では,この問題に対処するためにデータ拡張手法について検討する。
論文 参考訳（メタデータ） (2021-03-08T09:21:41Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。