Fugu-MT 論文翻訳(概要): Robust Textual Embedding against Word-level Adversarial Attacks

論文の概要: Robust Textual Embedding against Word-level Adversarial Attacks

arxiv url: http://arxiv.org/abs/2202.13817v1
Date: Mon, 28 Feb 2022 14:25:00 GMT
ステータス: 処理完了
システム内更新日: 2022-03-01 16:50:22.484489
Title: Robust Textual Embedding against Word-level Adversarial Attacks
Title（参考訳）: 単語レベルの敵攻撃に対するロバストテキスト埋め込み
Authors: Yichen Yang, Xiaosen Wang, Kun He
Abstract要約: 我々は、FTML(Fast Triplet Metric Learning)と呼ばれる新しい堅牢なトレーニング手法を提案する。 FTMLは, 様々な先進攻撃に対して, モデルロバスト性を著しく向上させることができることを示す。我々の研究は、ロバストな単語埋め込みによってテキストの堅牢性を改善する大きな可能性を示している。
参考スコア（独自算出の注目度）: 15.235449552083043
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We attribute the vulnerability of natural language processing models to the fact that similar inputs are converted to dissimilar representations in the embedding space, leading to inconsistent outputs, and propose a novel robust training method, termed Fast Triplet Metric Learning (FTML). Specifically, we argue that the original sample should have similar representation with its adversarial counterparts and distinguish its representation from other samples for better robustness. To this end, we adopt the triplet metric learning into the standard training to pull the words closer to their positive samples (i.e., synonyms) and push away their negative samples (i.e., non-synonyms) in the embedding space. Extensive experiments demonstrate that FTML can significantly promote the model robustness against various advanced adversarial attacks while keeping competitive classification accuracy on original samples. Besides, our method is efficient as it only needs to adjust the embedding and introduces very little overhead on the standard training. Our work shows the great potential of improving the textual robustness through robust word embedding.
Abstract（参考訳）: 自然言語処理モデルの脆弱性は、類似した入力が埋め込み空間における異種表現に変換され、一貫性のない出力につながるという事実に起因し、Fast Triplet Metric Learning(FTML)と呼ばれる新しい堅牢なトレーニング手法を提案する。具体的には、元のサンプルはその逆のサンプルと類似した表現を持つべきであり、その表現を他のサンプルと区別してより堅牢性を高めるべきであると論じる。この目的のために、私たちは三重項メトリック学習を標準訓練に採用し、単語を正のサンプル(すなわち同義語)に近づけ、負のサンプル(すなわち非シンジニム)を埋め込み空間に押し出す。大規模な実験により、FTMLは様々な高度な敵攻撃に対するモデルロバスト性を著しく促進し、元のサンプルに対して競合的な分類精度を維持することができることが示された。さらに,本手法は組込み調整のみが必要で,標準トレーニングのオーバーヘッドが極めて少ないため,効率的である。我々の研究は、堅牢な単語埋め込みによってテキストの堅牢性を改善する大きな可能性を示している。

関連論文リスト

SemRoDe: Macro Adversarial Training to Learn Representations That are Robust to Word-Level Attacks [29.942001958562567]
本稿では,セマンティック・ロバスト・ディフェンス(Semantic Robust Defence, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス, セマンティック・ロバスト・ディフェンス) この2つの領域を橋渡しする頑健な表現を学習する。結果は、最先端の堅牢性を示す。
論文参考訳（メタデータ） (2024-03-27T10:24:25Z)
Fast Adversarial Training against Textual Adversarial Attacks [11.023035222098008]
本研究では,同義語を意識しないシナリオにおけるモデルロバスト性を改善するために,FAT法を提案する。 FATは、埋め込み空間における敵の例を作成するために、シングルステップとマルチステップの勾配上昇を使用する。実験により、FATは同義ではないシナリオにおいてBERTモデルのロバスト性を著しく向上させることが示された。
論文参考訳（メタデータ） (2024-01-23T03:03:57Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文参考訳（メタデータ） (2022-12-20T14:06:50Z)
Language Model Pre-training on True Negatives [109.73819321246062]
差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
論文参考訳（メタデータ） (2022-12-01T12:24:19Z)
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder [18.375585982984845]
我々は,モデルの訓練過程において,勾配に基づく敵攻撃を防御するモデルの能力の向上に焦点をあてる。本稿では, CARL と RAR の2つの新しい対戦訓練手法を提案する。実験により,提案した2つの手法は,テキスト分類データセットにおいて高いベースラインを達成していることが示された。
論文参考訳（メタデータ） (2021-09-14T09:08:58Z)
Self-Supervised Contrastive Learning with Adversarial Perturbations for Robust Pretrained Language Models [18.726529370845256]
本稿では,単語置換に基づく攻撃に対する事前学習型言語モデルBERTの堅牢性を改善する。また,BERTにおける単語レベルの対人訓練のための対人攻撃も作成する。
論文参考訳（メタデータ） (2021-07-15T21:03:34Z)
Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文参考訳（メタデータ） (2021-04-11T03:32:49Z)
Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
論文参考訳（メタデータ） (2020-09-16T06:53:15Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)
BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
論文参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。