論文の概要: Self-Supervised Contrastive Learning with Adversarial Perturbations for
Robust Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2107.07610v1
- Date: Thu, 15 Jul 2021 21:03:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-20 00:28:42.815242
- Title: Self-Supervised Contrastive Learning with Adversarial Perturbations for
Robust Pretrained Language Models
- Title（参考訳）: ロバスト事前学習モデルに対する逆摂動を用いた自己教師付きコントラスト学習
- Authors: Zhao Meng, Yihan Dong, Mrinmaya Sachan, Roger Wattenhofer
- Abstract要約: 本稿では,単語置換に基づく攻撃に対する事前学習型言語モデルBERTの堅牢性を改善する。
また,BERTにおける単語レベルの対人訓練のための対人攻撃も作成する。
- 参考スコア（独自算出の注目度）: 18.726529370845256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper improves the robustness of the pretrained language model BERT
against word substitution-based adversarial attacks by leveraging
self-supervised contrastive learning with adversarial perturbations. One
advantage of our method compared to previous works is that it is capable of
improving model robustness without using any labels. Additionally, we also
create an adversarial attack for word-level adversarial training on BERT. The
attack is efficient, allowing adversarial training for BERT on adversarial
examples generated on the fly during training. Experimental results on four
datasets show that our method improves the robustness of BERT against four
different word substitution-based adversarial attacks. Furthermore, to
understand why our method can improve the model robustness against adversarial
attacks, we study vector representations of clean examples and their
corresponding adversarial examples before and after applying our method. As our
method improves model robustness with unlabeled raw data, it opens up the
possibility of using large text datasets to train robust language models.
- Abstract（参考訳）: 本稿では,単語置換に基づく対人攻撃に対する事前学習型言語モデルBERTの頑健性を改善する。
本手法の利点の一つは,ラベルを使わずにモデルのロバスト性を向上させることができる点である。
また,BERTにおける単語レベルの対人訓練のための対人攻撃も作成する。
この攻撃は効率が良く、訓練中にハエで発生した敵の例に対するBERTの敵の訓練を可能にする。
4つのデータセットを用いた実験の結果,4つの異なる単語置換に基づく敵攻撃に対するbertのロバスト性が向上した。
さらに,本手法が敵攻撃に対するモデルロバスト性を向上できる理由を理解するため,本手法の適用前後におけるクリーンサンプルのベクトル表現とその対応する逆例について検討した。
ラベルなしの生データでモデルのロバスト性を改善するため,大規模なテキストデータセットを使用してロバストな言語モデルをトレーニングする可能性を開く。
関連論文リスト
- Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - SCAT: Robust Self-supervised Contrastive Learning via Adversarial
Training for Text Classification [15.932462099791307]
SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。
SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。
以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-07-04T05:41:31Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳（メタデータ） (2022-12-20T14:06:50Z) - Learning to Ignore Adversarial Attacks [14.24585085013907]
攻撃トークンの無視を明示的に学習する合理化モデルを導入する。
その結果,攻撃トークンの90%以上を合理的に無視できることがわかった。
論文 参考訳（メタデータ） (2022-05-23T18:01:30Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z) - Improving Gradient-based Adversarial Training for Text Classification by
Contrastive Learning and Auto-Encoder [18.375585982984845]
我々は,モデルの訓練過程において,勾配に基づく敵攻撃を防御するモデルの能力の向上に焦点をあてる。
本稿では, CARL と RAR の2つの新しい対戦訓練手法を提案する。
実験により,提案した2つの手法は,テキスト分類データセットにおいて高いベースラインを達成していることが示された。
論文 参考訳（メタデータ） (2021-09-14T09:08:58Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z) - BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。
対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。
本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
論文 参考訳（メタデータ） (2020-04-21T13:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。