論文の概要: Marrying Adapters and Mixup to Efficiently Enhance the Adversarial
Robustness of Pre-Trained Language Models for Text Classification
- arxiv url: http://arxiv.org/abs/2401.10111v1
- Date: Thu, 18 Jan 2024 16:27:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 16:00:28.971325
- Title: Marrying Adapters and Mixup to Efficiently Enhance the Adversarial
Robustness of Pre-Trained Language Models for Text Classification
- Title(参考訳): テキスト分類のための事前学習言語モデルの適応的ロバスト性を効果的に向上する適応と混合
- Authors: Tuc Nguyen and Thai Le
- Abstract要約: ニューラルネットワークのトレーニングデータをクリーン例と逆例の両方を用いて強化することで、敵攻撃時の一般化性を高めることができることを示す。
本研究では,(1)パラメータ効率の良い微調整が可能なアダプタと,(2)ペアのデータペアの凸結合によるNNのトレーニングを行うMixupの2つの概念を組み合わせる。
実験により,本手法は,攻撃と無攻撃の双方において,訓練効率と予測性能の最良のトレードオフを実現することを示す。
- 参考スコア(独自算出の注目度): 10.92854604130632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing works show that augmenting training data of neural networks using
both clean and adversarial examples can enhance their generalizability under
adversarial attacks. However, this training approach often leads to performance
degradation on clean inputs. Additionally, it requires frequent re-training of
the entire model to account for new attack types, resulting in significant and
costly computations. Such limitations make adversarial training mechanisms less
practical, particularly for complex Pre-trained Language Models (PLMs) with
millions or even billions of parameters. To overcome these challenges while
still harnessing the theoretical benefits of adversarial training, this study
combines two concepts: (1) adapters, which enable parameter-efficient
fine-tuning, and (2) Mixup, which train NNs via convex combinations of pairs
data pairs. Intuitively, we propose to fine-tune PLMs through convex
combinations of non-data pairs of fine-tuned adapters, one trained with clean
and another trained with adversarial examples. Our experiments show that the
proposed method achieves the best trade-off between training efficiency and
predictive performance, both with and without attacks compared to other
baselines on a variety of downstream tasks.
- Abstract(参考訳): 既存の研究によると、クリーンな例と敵の例の両方を使ってニューラルネットワークのトレーニングデータを増強することで、敵の攻撃下での一般化性が向上する。
しかし、このトレーニングアプローチはクリーンな入力の性能低下につながることが多い。
さらに、新たな攻撃タイプを説明するために、モデル全体の頻繁な再トレーニングが必要であるため、大幅な計算コストがかかる。
このような制限により、複雑な事前訓練言語モデル(PLM)において、数百万から数十億のパラメータを持つ敵の訓練機構がより実用的になる。
これらの課題を克服するために,(1)パラメータ効率の良い微調整が可能なアダプタ,(2)ペアデータペアの凸結合によるNNの学習を行うMixupという2つの概念を併用した。
直感的には、非データ組の細調整アダプタの凸結合による細調整 PLM を提案し、一方はクリーンで、もう一方は逆の例で訓練した。
提案手法は, 各種下流タスクにおける他のベースラインと比較して, 攻撃の有無にかかわらず, トレーニング効率と予測性能の最良のトレードオフを実現する。
関連論文リスト
- Fast Propagation is Better: Accelerating Single-Step Adversarial
Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。
モデルの内部構造ブロックを利用して効率を向上させることを提案する。
従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文 参考訳(メタデータ) (2023-10-24T01:36:20Z) - SCAT: Robust Self-supervised Contrastive Learning via Adversarial
Training for Text Classification [15.932462099791307]
SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。
SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。
以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-07-04T05:41:31Z) - CAT:Collaborative Adversarial Training [80.55910008355505]
ニューラルネットワークの堅牢性を改善するために,協調的対人訓練フレームワークを提案する。
具体的には、異なる対戦型トレーニング手法を使用して、堅牢なモデルをトレーニングし、トレーニングプロセス中にモデルが自身の知識と対話できるようにします。
Cat は Auto-Attack ベンチマークの下で CIFAR-10 上の追加データを用いることなく、最先端の敵の堅牢性を達成している。
論文 参考訳(メタデータ) (2023-03-27T05:37:43Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present
and Future [132.34745793391303]
本稿では,畳み込みニューラルネットワークと視覚変換器の両方を含む自己教師型深層ネットワークの対角的事前学習について検討する。
対戦相手を入力レベルと特徴レベルのいずれかの事前学習モデルに組み込むには、既存のアプローチは2つのグループに大別される。
論文 参考訳(メタデータ) (2022-10-23T13:14:06Z) - Distributed Adversarial Training to Robustify Deep Neural Networks at
Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。
このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。
複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T15:39:43Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳(メタデータ) (2022-05-02T04:04:23Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳(メタデータ) (2022-03-18T01:12:18Z) - Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。
実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。
2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
論文 参考訳(メタデータ) (2020-10-26T01:44:20Z) - A Novel DNN Training Framework via Data Sampling and Multi-Task
Optimization [7.001799696806368]
DNNモデルをトレーニングするための新しいフレームワークを提案する。
ランダムスプリッティングにより、総合的なトレーニングセットから複数のトレーニングセットと検証セットを生成する。
トレーニングされたすべてのモデルの中で最高のパフォーマンスを出力し、すべてのペアから検証セット全体で全体の最高のパフォーマンスを出力します。
論文 参考訳(メタデータ) (2020-07-02T10:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。