論文の概要: Marrying Adapters and Mixup to Efficiently Enhance the Adversarial Robustness of Pre-Trained Language Models for Text Classification

• arxiv url: http://arxiv.org/abs/2401.10111v1
• Date: Thu, 18 Jan 2024 16:27:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 16:00:28.971325
• Title: Marrying Adapters and Mixup to Efficiently Enhance the Adversarial Robustness of Pre-Trained Language Models for Text Classification
• Title（参考訳）: テキスト分類のための事前学習言語モデルの適応的ロバスト性を効果的に向上する適応と混合
• Authors: Tuc Nguyen and Thai Le
• Abstract要約: ニューラルネットワークのトレーニングデータをクリーン例と逆例の両方を用いて強化することで、敵攻撃時の一般化性を高めることができることを示す。 本研究では,(1)パラメータ効率の良い微調整が可能なアダプタと,(2)ペアのデータペアの凸結合によるNNのトレーニングを行うMixupの2つの概念を組み合わせる。 実験により,本手法は,攻撃と無攻撃の双方において,訓練効率と予測性能の最良のトレードオフを実現することを示す。
• 参考スコア（独自算出の注目度）: 10.92854604130632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing works show that augmenting training data of neural networks using both clean and adversarial examples can enhance their generalizability under adversarial attacks. However, this training approach often leads to performance degradation on clean inputs. Additionally, it requires frequent re-training of the entire model to account for new attack types, resulting in significant and costly computations. Such limitations make adversarial training mechanisms less practical, particularly for complex Pre-trained Language Models (PLMs) with millions or even billions of parameters. To overcome these challenges while still harnessing the theoretical benefits of adversarial training, this study combines two concepts: (1) adapters, which enable parameter-efficient fine-tuning, and (2) Mixup, which train NNs via convex combinations of pairs data pairs. Intuitively, we propose to fine-tune PLMs through convex combinations of non-data pairs of fine-tuned adapters, one trained with clean and another trained with adversarial examples. Our experiments show that the proposed method achieves the best trade-off between training efficiency and predictive performance, both with and without attacks compared to other baselines on a variety of downstream tasks.
• Abstract（参考訳）: 既存の研究によると、クリーンな例と敵の例の両方を使ってニューラルネットワークのトレーニングデータを増強することで、敵の攻撃下での一般化性が向上する。 しかし、このトレーニングアプローチはクリーンな入力の性能低下につながることが多い。 さらに、新たな攻撃タイプを説明するために、モデル全体の頻繁な再トレーニングが必要であるため、大幅な計算コストがかかる。 このような制限により、複雑な事前訓練言語モデル(PLM)において、数百万から数十億のパラメータを持つ敵の訓練機構がより実用的になる。 これらの課題を克服するために,(1)パラメータ効率の良い微調整が可能なアダプタ,(2)ペアデータペアの凸結合によるNNの学習を行うMixupという2つの概念を併用した。 直感的には、非データ組の細調整アダプタの凸結合による細調整 PLM を提案し、一方はクリーンで、もう一方は逆の例で訓練した。 提案手法は, 各種下流タスクにおける他のベースラインと比較して, 攻撃の有無にかかわらず, トレーニング効率と予測性能の最良のトレードオフを実現する。

関連論文リスト

• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• PIAT: Parameter Interpolation based Adversarial Training for Image Classification [19.276850361815953]
  補間ベース・アドバイザリアル・トレーニング(PIAT)と呼ばれる新しいフレームワークを提案し,トレーニング中に過去の情報をフル活用する。 我々のフレームワークは汎用的であり、他の敵の訓練手法と組み合わせることで、より堅牢な精度を高めることができる。
  論文  参考訳（メタデータ） (2023-03-24T12:22:34Z)
• Masking and Mixing Adversarial Training [9.690454593095495]
  敵の訓練は、敵の例の脅威から守るために人気があり、簡単なテクニックである。 CNNは、敵の例に対する堅牢性を改善するために、標準サンプルの精度を犠牲にしなければならない。 本稿では,M2AT(Masking and Mixing Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2023-02-16T04:05:53Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Guided Interpolation for Adversarial Training [73.91493448651306]
  トレーニングが進むにつれて、トレーニングデータは徐々に攻撃しやすくなり、堅牢性の向上が損なわれる。 本稿では,前時代のメタ情報を用いて,データの逆変換をガイドするguided framework(gif)を提案する。 バニラミキサアップと比較すると、GIFは攻撃可能なデータの比率を高くすることができ、堅牢性向上に有効である。
  論文  参考訳（メタデータ） (2021-02-15T03:55:08Z)
• Better Robustness by More Coverage: Adversarial Training with Mixup Augmentation for Robust Fine-tuning [69.65361463168142]
  adversarial data augmentation (ada) が広く採用されており、トレーニング中にadversarial例を追加することで、adversarial attackの検索スペースを拡大しようとしている。 我々は,MixADA (Adversarial Data Augmentation with Mixup) と呼ばれる,攻撃検索空間のより広い割合をカバーする,シンプルで効果的な手法を提案する。 BERT と RoBERTa のテキスト分類実験において,MixADA は2つの強敵攻撃による顕著な堅牢性向上を実現し,元のデータに対する ADA の性能を緩和する。
  論文  参考訳（メタデータ） (2020-12-31T16:28:07Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Towards Rapid and Robust Adversarial Training with One-Step Attacks [0.0]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を高める最も成功した方法である。 本稿では,計算コストの低いFast Gradient Sign Methodを用いて,敵対的学習を可能にする2つのアイデアを提案する。 FGSMをベースとした対向訓練と併用したノイズ注入は、PGDによる対向訓練に匹敵する結果が得られ、より高速であることを示す。
  論文  参考訳（メタデータ） (2020-02-24T07:28:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。