Fugu-MT 論文翻訳(概要): Better Robustness by More Coverage: Adversarial Training with Mixup Augmentation for Robust Fine-tuning

論文の概要: Better Robustness by More Coverage: Adversarial Training with Mixup Augmentation for Robust Fine-tuning

arxiv url: http://arxiv.org/abs/2012.15699v1
Date: Thu, 31 Dec 2020 16:28:07 GMT
ステータス: 処理完了
システム内更新日: 2021-04-17 22:11:37.536951
Title: Better Robustness by More Coverage: Adversarial Training with Mixup Augmentation for Robust Fine-tuning
Title（参考訳）: さらなるカバレッジによるロバスト性の向上:ロバストな微調整のためのmixup拡張による敵対的トレーニング
Authors: Chenglei Si, Zhengyan Zhang, Fanchao Qi, Zhiyuan Liu, Yasheng Wang, Qun Liu, Maosong Sun
Abstract要約: adversarial data augmentation (ada) が広く採用されており、トレーニング中にadversarial例を追加することで、adversarial attackの検索スペースを拡大しようとしている。我々は,MixADA (Adversarial Data Augmentation with Mixup) と呼ばれる,攻撃検索空間のより広い割合をカバーする,シンプルで効果的な手法を提案する。 BERT と RoBERTa のテキスト分類実験において,MixADA は2つの強敵攻撃による顕著な堅牢性向上を実現し,元のデータに対する ADA の性能を緩和する。
参考スコア（独自算出の注目度）: 69.65361463168142
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pre-trained language models (PLMs) fail miserably on adversarial attacks. To improve the robustness, adversarial data augmentation (ADA) has been widely adopted, which attempts to cover more search space of adversarial attacks by adding the adversarial examples during training. However, the number of adversarial examples added by ADA is extremely insufficient due to the enormously large search space. In this work, we propose a simple and effective method to cover much larger proportion of the attack search space, called Adversarial Data Augmentation with Mixup (MixADA). Specifically, MixADA linearly interpolates the representations of pairs of training examples to form new virtual samples, which are more abundant and diverse than the discrete adversarial examples used in conventional ADA. Moreover, to evaluate the robustness of different models fairly, we adopt a challenging setup, which dynamically generates new adversarial examples for each model. In the text classification experiments of BERT and RoBERTa, MixADA achieves significant robustness gains under two strong adversarial attacks and alleviates the performance degradation of ADA on the original data. Our source codes will be released to support further explorations.
Abstract（参考訳）: 事前訓練された言語モデル(PLM)は敵の攻撃で惨めに失敗する。強靭性を改善するために、敵データ拡張(ADA)が広く採用され、訓練中に敵データを追加することで、敵攻撃の検索スペースを増やそうとしている。しかし、ADAが加えた敵例の数は、膨大な検索スペースのため、極めて不十分である。本研究では,MixADA (Adversarial Data Augmentation with Mixup) と呼ばれる,攻撃検索空間のより広い割合をカバーするための簡易かつ効率的な手法を提案する。具体的には、MixADAはトレーニングサンプルのペアの表現を線形に補間して新しい仮想サンプルを作成する。さらに,異なるモデルのロバスト性を公平に評価するために,各モデルの新たな逆例を動的に生成する挑戦的な設定を採用する。 BERT と RoBERTa のテキスト分類実験において,MixADA は2つの強敵攻撃による顕著な堅牢性向上を実現し,元のデータに対する ADA の性能劣化を軽減する。当社のソースコードは、さらなる調査をサポートするためにリリースされます。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
論文参考訳（メタデータ） (2024-04-04T10:10:38Z)
Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers [9.250758784663411]
AdpMixupは、アダプタによる微調整とミックスアップによる敵の増強を組み合わせて、堅牢な推論のために既存の知識を動的に活用する。実験によると、AdpMixupは、既知の攻撃と未知の攻撃の両方において、トレーニング効率と堅牢性の間の最良のトレードオフを達成する。
論文参考訳（メタデータ） (2024-01-18T16:27:18Z)
Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。モデルの内部構造ブロックを利用して効率を向上させることを提案する。従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文参考訳（メタデータ） (2023-10-24T01:36:20Z)
Advancing Adversarial Robustness Through Adversarial Logit Update [10.041289551532804]
敵の訓練と敵の浄化は最も広く認知されている防衛戦略の一つである。そこで本稿では,新たな原則であるALU(Adversarial Logit Update)を提案する。本手法は,幅広い敵攻撃に対する最先端手法と比較して,優れた性能を実現する。
論文参考訳（メタデータ） (2023-08-29T07:13:31Z)
PIAT: Parameter Interpolation based Adversarial Training for Image Classification [19.276850361815953]
補間ベース・アドバイザリアル・トレーニング(PIAT)と呼ばれる新しいフレームワークを提案し,トレーニング中に過去の情報をフル活用する。我々のフレームワークは汎用的であり、他の敵の訓練手法と組み合わせることで、より堅牢な精度を高めることができる。
論文参考訳（メタデータ） (2023-03-24T12:22:34Z)
Latent Boundary-guided Adversarial Training [61.43040235982727]
モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-08T07:40:55Z)
On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。トレーニングインスタンスの観点から,この現象を考察する。逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
論文参考訳（メタデータ） (2021-12-14T12:19:24Z)
Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文参考訳（メタデータ） (2021-05-31T17:01:05Z)
Generalizing Adversarial Examples by AdaBelief Optimizer [6.243028964381449]
本稿では,AdaBelief反復高速勾配符号法を提案し,その逆例を一般化する。提案手法は,最先端の攻撃手法と比較して,ホワイトボックス設定における敵例を効果的に生成することができる。転送速度は、最新の攻撃方法よりも7%-21%高いです。
論文参考訳（メタデータ） (2021-01-25T07:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。