論文の概要: Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers

• arxiv url: http://arxiv.org/abs/2401.10111v2
• Date: Mon, 17 Jun 2024 12:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 06:54:55.211541
• Title: Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers
• Title（参考訳）: 適応器混合:微調整事前学習テキスト分類器の逆ロバスト性を高めるためのパラメータ効率の良い混合適応器
• Authors: Tuc Nguyen, Thai Le,
• Abstract要約: AdpMixupは、アダプタによる微調整とミックスアップによる敵の増強を組み合わせて、堅牢な推論のために既存の知識を動的に活用する。 実験によると、AdpMixupは、既知の攻撃と未知の攻撃の両方において、トレーニング効率と堅牢性の間の最良のトレードオフを達成する。
• 参考スコア（独自算出の注目度）: 9.250758784663411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing works show that augmenting the training data of pre-trained language models (PLMs) for classification tasks fine-tuned via parameter-efficient fine-tuning methods (PEFT) using both clean and adversarial examples can enhance their robustness under adversarial attacks. However, this adversarial training paradigm often leads to performance degradation on clean inputs and requires frequent re-training on the entire data to account for new, unknown attacks. To overcome these challenges while still harnessing the benefits of adversarial training and the efficiency of PEFT, this work proposes a novel approach, called AdpMixup, that combines two paradigms: (1) fine-tuning through adapters and (2) adversarial augmentation via mixup to dynamically leverage existing knowledge from a set of pre-known attacks for robust inference. Intuitively, AdpMixup fine-tunes PLMs with multiple adapters with both clean and pre-known adversarial examples and intelligently mixes them up in different ratios during prediction. Our experiments show AdpMixup achieves the best trade-off between training efficiency and robustness under both pre-known and unknown attacks, compared to existing baselines on five downstream tasks across six varied black-box attacks and 2 PLMs. All source code will be available.
• Abstract（参考訳）: 既存の研究は、パラメータ効率のよい微調整法(PEFT)を用いて微調整された分類タスクのための事前訓練された言語モデル(PLM)のトレーニングデータを増やすことで、敵攻撃下での堅牢性を高めることを示している。 しかし、この敵対的なトレーニングパラダイムは、しばしばクリーンな入力のパフォーマンス低下を招き、新しい未知の攻撃を説明するために、データ全体を頻繁に再トレーニングする必要がある。 これらの課題を克服しつつ、PEFTの利点と効率を生かし、(1)アダプタによる微調整と(2)ミックスアップによる敵の増強という2つのパラダイムを組み合わせた新しいアプローチを提案する。 直感的には、AdpMixupファインチューンPLMは、クリーンかつ既知の逆数例を持つ複数のアダプタを持ち、予測中に異なる比率でそれらをインテリジェントに混合する。 実験の結果,AdpMixupは6つのブラックボックス攻撃と2つのPLMに対して,既存の5つの下流タスクのベースラインと比較して,トレーニング効率とロバストネスの最良のトレードオフを実現していることがわかった。 すべてのソースコードが利用可能になる。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• PIAT: Parameter Interpolation based Adversarial Training for Image Classification [19.276850361815953]
  補間ベース・アドバイザリアル・トレーニング(PIAT)と呼ばれる新しいフレームワークを提案し,トレーニング中に過去の情報をフル活用する。 我々のフレームワークは汎用的であり、他の敵の訓練手法と組み合わせることで、より堅牢な精度を高めることができる。
  論文  参考訳（メタデータ） (2023-03-24T12:22:34Z)
• Masking and Mixing Adversarial Training [9.690454593095495]
  敵の訓練は、敵の例の脅威から守るために人気があり、簡単なテクニックである。 CNNは、敵の例に対する堅牢性を改善するために、標準サンプルの精度を犠牲にしなければならない。 本稿では,M2AT(Masking and Mixing Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2023-02-16T04:05:53Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• Better Robustness by More Coverage: Adversarial Training with Mixup Augmentation for Robust Fine-tuning [69.65361463168142]
  adversarial data augmentation (ada) が広く採用されており、トレーニング中にadversarial例を追加することで、adversarial attackの検索スペースを拡大しようとしている。 我々は,MixADA (Adversarial Data Augmentation with Mixup) と呼ばれる,攻撃検索空間のより広い割合をカバーする,シンプルで効果的な手法を提案する。 BERT と RoBERTa のテキスト分類実験において,MixADA は2つの強敵攻撃による顕著な堅牢性向上を実現し,元のデータに対する ADA の性能を緩和する。
  論文  参考訳（メタデータ） (2020-12-31T16:28:07Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Towards Rapid and Robust Adversarial Training with One-Step Attacks [0.0]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を高める最も成功した方法である。 本稿では,計算コストの低いFast Gradient Sign Methodを用いて,敵対的学習を可能にする2つのアイデアを提案する。 FGSMをベースとした対向訓練と併用したノイズ注入は、PGDによる対向訓練に匹敵する結果が得られ、より高速であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。