論文の概要: Towards Robustness Against Natural Language Word Substitutions

• arxiv url: http://arxiv.org/abs/2107.13541v1
• Date: Wed, 28 Jul 2021 17:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-29 14:03:25.572920
• Title: Towards Robustness Against Natural Language Word Substitutions
• Title（参考訳）: 自然言語単語置換に対するロバスト性を目指して
• Authors: Xinshuai Dong, Anh Tuan Luu, Rongrong Ji, Hong Liu
• Abstract要約: 単語置換に対するロバスト性は、意味論的に類似した単語を置換として、明確に定義され広く受け入れられる形式である。 従来の防衛方法は、$l$-ball または hyper-rectangle を用いてベクトル空間における単語置換をキャプチャする。
• 参考スコア（独自算出の注目度）: 87.56898475512703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness against word substitutions has a well-defined and widely acceptable form, i.e., using semantically similar words as substitutions, and thus it is considered as a fundamental stepping-stone towards broader robustness in natural language processing. Previous defense methods capture word substitutions in vector space by using either $l_2$-ball or hyper-rectangle, which results in perturbation sets that are not inclusive enough or unnecessarily large, and thus impedes mimicry of worst cases for robust training. In this paper, we introduce a novel \textit{Adversarial Sparse Convex Combination} (ASCC) method. We model the word substitution attack space as a convex hull and leverages a regularization term to enforce perturbation towards an actual substitution, thus aligning our modeling better with the discrete textual space. Based on the ASCC method, we further propose ASCC-defense, which leverages ASCC to generate worst-case perturbations and incorporates adversarial training towards robustness. Experiments show that ASCC-defense outperforms the current state-of-the-arts in terms of robustness on two prevailing NLP tasks, \emph{i.e.}, sentiment analysis and natural language inference, concerning several attacks across multiple model architectures. Besides, we also envision a new class of defense towards robustness in NLP, where our robustly trained word vectors can be plugged into a normally trained model and enforce its robustness without applying any other defense techniques.
• Abstract（参考訳）: 単語置換に対するロバスト性は、よく定義され広く受け入れられる形式、すなわち、意味論的に類似した単語を置換として使用することにより、自然言語処理におけるより広範な堅牢性への根本的な足掛かりと見なされる。 従来の防御法は、$l_2$-ball または hyper-rectangle を用いてベクトル空間内の単語置換をキャプチャし、それによって摂動集合は十分な包含性や不必要に大きいものではないため、ロバストなトレーニングのために最悪の場合の模倣を妨げている。 本稿では,新しい<textit{Adversarial Sparse Convex Combination} (ASCC) 法を提案する。 我々は,単語置換攻撃空間を凸殻としてモデル化し,正規化項を利用して実際の置換に対する摂動を強制する。 ASCC法では,ASCCを利用して最悪の摂動を発生させ,強靭性に対する敵の訓練を取り入れたASCC防御法が提案されている。 実験により、ASCC-defenseは2つの一般的なNLPタスクの堅牢性の観点から、現在の最先端技術よりも優れていることが示された。 センチメント分析と自然言語推論は、複数のモデルアーキテクチャにまたがる複数の攻撃に関するものだ。 さらに我々は,NLPにおけるロバスト性に対する新たな防衛のクラスを構想し,我々の頑健に訓練されたワードベクトルを通常訓練されたモデルにプラグインし,他の防御技術を適用することなくそのロバスト性を強制する。

関連論文リスト

• SemRoDe: Macro Adversarial Training to Learn Representations That are Robust to Word-Level Attacks [29.942001958562567]
  本稿では,セマンティック・ロバスト・ディフェンス(Semantic Robust Defence, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス) この2つの領域を橋渡しする頑健な表現を学習する。 結果は、最先端の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-03-27T10:24:25Z)
• Fast Adversarial Training against Textual Adversarial Attacks [11.023035222098008]
  本研究では,同義語を意識しないシナリオにおけるモデルロバスト性を改善するために,FAT法を提案する。 FATは、埋め込み空間における敵の例を作成するために、シングルステップとマルチステップの勾配上昇を使用する。 実験により、FATは同義ではないシナリオにおいてBERTモデルのロバスト性を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-23T03:03:57Z)
• Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks [39.51297217854375]
  ランダムな平滑化に基づく自然言語処理(NLP)のための信頼性の高いロバストネスフレームワークであるText-CRSを提案する。 テキストCRSは、4つの異なる単語レベルの対数操作すべてに対処でき、精度が大幅に向上することを示す。 また,同義語置換攻撃に対する最先端認証よりも,単語レベルの4つの操作の精度と半径に関する最初のベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-07-31T13:08:16Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Certified Robustness Against Natural Language Attacks by Causal Intervention [61.62348826831147]
  Causal Intervention by Semantic Smoothing (CISS)は、自然言語攻撃に対する堅牢性に向けた新しい枠組みである。 CISSは単語置換攻撃に対して確実に堅牢であり、未知の攻撃アルゴリズムによって摂動が強化されたとしても経験的に堅牢である。
  論文  参考訳（メタデータ） (2022-05-24T19:20:48Z)
• Quantifying Robustness to Adversarial Word Substitutions [24.164523751390053]
  深層学習に基づくNLPモデルは単語置換摂動に弱いことが判明した。 単語レベルの堅牢性を評価するための形式的枠組みを提案する。 メトリックは、BERTのような最先端のモデルが、いくつかの単語置換によって簡単に騙される理由を理解するのに役立ちます。
  論文  参考訳（メタデータ） (2022-01-11T08:18:39Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。