論文の概要: How Does Adversarial Fine-Tuning Benefit BERT?

• arxiv url: http://arxiv.org/abs/2108.13602v1
• Date: Tue, 31 Aug 2021 03:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 02:37:16.167972
• Title: How Does Adversarial Fine-Tuning Benefit BERT?
• Title（参考訳）: 広告の微調整はbertにどんなメリットがあるのか?
• Authors: Javid Ebrahimi, Hao Yang, Wei Zhang
• Abstract要約: 敵の訓練は、機械学習における敵の攻撃を防御する最も信頼できる方法の1つである。 逆向きに微調整されたモデルはBERTの言語モデリング行動に忠実であり、語順に敏感であることを示す。 分析の結果,バニラ微調整は文表現を単純化し,単語のラベル表示に重きを置いていることがわかった。
• 参考スコア（独自算出の注目度）: 16.57274211257757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) is one of the most reliable methods for defending against adversarial attacks in machine learning. Variants of this method have been used as regularization mechanisms to achieve SOTA results on NLP benchmarks, and they have been found to be useful for transfer learning and continual learning. We search for the reasons for the effectiveness of AT by contrasting vanilla and adversarially fine-tuned BERT models. We identify partial preservation of BERT's syntactic abilities during fine-tuning as the key to the success of AT. We observe that adversarially fine-tuned models remain more faithful to BERT's language modeling behavior and are more sensitive to the word order. As concrete examples of syntactic abilities, an adversarially fine-tuned model could have an advantage of up to 38% on anaphora agreement and up to 11% on dependency parsing. Our analysis demonstrates that vanilla fine-tuning oversimplifies the sentence representation by focusing heavily on one or a few label-indicative words. AT, however, moderates the effect of these influential words and encourages representational diversity. This allows for a more hierarchical representation of a sentence and leads to the mitigation of BERT's loss of syntactic abilities.
• Abstract（参考訳）: 敵意トレーニング(adversarial training, at)は、機械学習における敵意攻撃を防御する最も信頼できる方法の1つである。 この手法の変数は,NLPベンチマーク上でのSOTA結果の正則化機構として利用されており,伝達学習や連続学習に有用であることが確認されている。 我々は,バニラモデルと逆調整したBERTモデルとの対比により,ATの有効性の理由を探索する。 細調整中のBERTの統語能力を部分的に保存することがATの成功の鍵となる。 逆向きに微調整されたモデルは、BERTの言語モデリング行動に忠実であり、語順に敏感であることが観察された。 構文能力の具体例として、敵対的に微調整されたモデルは、アナフォラ合意で最大38%、依存関係解析で最大11%の利点がある。 分析の結果,バニラ微調整は文表現を単純化し,単語のラベル表示に重きを置いていることがわかった。 しかし、これらの影響力のある単語の効果を弱め、表現の多様性を奨励する。 これにより文のより階層的な表現が可能になり、BERTの構文能力の喪失が軽減される。

関連論文リスト

• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models [18.726529370845256]
  本稿では,単語置換に基づく攻撃に対する事前学習型言語モデルBERTの堅牢性を改善する。 また,BERTにおける単語レベルの対人訓練のための対人攻撃も作成する。
  論文  参考訳（メタデータ） (2021-07-15T21:03:34Z)
• Self-Guided Contrastive Learning for BERT Sentence Representations [19.205754738851546]
  本稿では,BERT文表現の品質向上に自己指導を利用したコントラスト学習手法を提案する。 提案手法は,BERTを自己教師型で微調整し,データ拡張に頼らず,通常の[]トークン埋め込みを文ベクトルとして機能させる。
  論文  参考訳（メタデータ） (2021-06-03T05:52:43Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)
• Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition [17.642255516887968]
  自然言語推論(NLI)は、自然言語理解にとってますます重要なタスクである。 NLIモデルが実用的推論を行う能力はまだ検討されていない。 BERT, InferSent, BOW NLIモデルがMultiNLIで訓練された場合, 実用的推論を学習するかを評価する。
  論文  参考訳（メタデータ） (2020-04-07T01:20:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。