論文の概要: CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation

• arxiv url: http://arxiv.org/abs/2010.02338v1
• Date: Mon, 5 Oct 2020 21:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-10 21:40:20.022364
• Title: CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
• Title（参考訳）: CAT-Gen:制御逆テキスト生成によるNLPモデルのロバスト性向上
• Authors: Tianlu Wang, Xuezhi Wang, Yao Qin, Ben Packer, Kang Li, Jilin Chen, Alex Beutel, Ed Chi
• Abstract要約: 本稿では,制御可能な属性による逆テキストを生成する制御付き逆テキスト生成(CAT-Gen)モデルを提案する。 実世界のNLPデータセットを用いた実験により,本手法はより多種多様な逆数文を生成することができることが示された。
• 参考スコア（独自算出の注目度）: 20.27052525082402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NLP models are shown to suffer from robustness issues, i.e., a model's prediction can be easily changed under small perturbations to the input. In this work, we present a Controlled Adversarial Text Generation (CAT-Gen) model that, given an input text, generates adversarial texts through controllable attributes that are known to be invariant to task labels. For example, in order to attack a model for sentiment classification over product reviews, we can use the product categories as the controllable attribute which would not change the sentiment of the reviews. Experiments on real-world NLP datasets demonstrate that our method can generate more diverse and fluent adversarial texts, compared to many existing adversarial text generation approaches. We further use our generated adversarial examples to improve models through adversarial training, and we demonstrate that our generated attacks are more robust against model re-training and different model architectures.
• Abstract（参考訳）: NLPモデルはロバスト性の問題、すなわち入力に対する小さな摂動の下でモデルの予測を簡単に変更できることが示されている。 本研究では,タスクラベルに不変であることが知られている制御可能な属性を用いて,入力テキストを付与し,逆テキストを生成する制御逆テキスト生成(CAT-Gen)モデルを提案する。 例えば、製品レビューよりも感情分類のモデルを攻撃するために、レビューの感情を変えないコントロール可能な属性として製品カテゴリを使用することができる。 実世界のNLPデータセットを用いた実験により,既存の多くの逆テキスト生成手法と比較して,本手法がより多種多様な逆テキストを生成可能であることが示された。 私たちはさらに,生成された敵の例を使って,敵のトレーニングを通じてモデルを改善するとともに,生成された攻撃がモデルの再トレーニングや異なるモデルアーキテクチャに対してより堅牢であることを実証します。

関連論文リスト

• Finding a Needle in the Adversarial Haystack: A Targeted Paraphrasing Approach For Uncovering Edge Cases with Minimal Distribution Distortion [0.0]
  言語モデル(LM)に対する敵対的攻撃は重要な関心事である。 本稿では,RL (TPRL) を用いたターゲットパラフレージングを提案する。
  論文  参考訳（メタデータ） (2024-01-21T02:25:29Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• SCAT: Robust Self-supervised Contrastive Learning via Adversarial Training for Text Classification [15.932462099791307]
  SCAT (Self-supervised Contrastive Learning via Adversarial Training) と呼ばれる新しい学習フレームワークを提案する。 SCATは、データのランダムな拡張をラベルのない方法で修正し、敵の例を生成する。 以上の結果から,SCATはスクラッチから頑健な言語モデルを訓練できるだけでなく,既存の事前学習言語モデルの堅牢性を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-07-04T05:41:31Z)
• Click: Controllable Text Generation with Sequence Likelihood Contrastive Learning [69.35360098882606]
  制御可能なテキスト生成のためのClickを導入し、モデルアーキテクチャを変更する必要はない。 シークエンス確率は対照的な損失を伴い、負のサンプルの生成確率を根本的に低下させる。 また、モデル世代から対照的なサンプルを構築するための、新しいランキングベースの戦略も採用している。
  論文  参考訳（メタデータ） (2023-06-06T01:56:44Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Experiments with adversarial attacks on text genres [0.0]
  BERTやXLM-RoBERTaのような事前学習されたトランスフォーマーに基づくニューラルモデルは、多くのNLPタスクにおいてSOTA結果を示す。 そこで本研究では,最も重要な単語のいくつかを類似した単語に置き換えることができる埋め込み型アルゴリズムが,モデル予測にかなりの割合で影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:37:59Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Word Shape Matters: Robust Machine Translation with Visual Embedding [78.96234298075389]
  文字レベルNLPモデルの入力シンボルを新たに符号化する。 文字が印刷されたときの画像を通して各文字の形状をエンコードする。 我々はこの新たな戦略を視覚的埋め込みと呼び、NLPモデルの堅牢性を向上させることが期待されている。
  論文  参考訳（メタデータ） (2020-10-20T04:08:03Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。