Fugu-MT 論文翻訳(概要): Generating Fluent Adversarial Examples for Natural Languages

論文の概要: Generating Fluent Adversarial Examples for Natural Languages

arxiv url: http://arxiv.org/abs/2007.06174v1
Date: Mon, 13 Jul 2020 03:56:37 GMT
ステータス: 処理完了
システム内更新日: 2022-11-11 00:00:44.456835
Title: Generating Fluent Adversarial Examples for Natural Languages
Title（参考訳）: 自然言語の高速対応例の生成
Authors: Huangzhao Zhang, Hao Zhou, Ning Miao, Lei Li
Abstract要約: 勾配の方向に沿って小さな摂動を行うのは難しい。生成された例の流布は保証できない。 IMDBとSNLIの実験により,提案したMHAは攻撃能力のベースラインモデルより優れていることが示された。
参考スコア（独自算出の注目度）: 25.490332190840714
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Efficiently building an adversarial attacker for natural language processing (NLP) tasks is a real challenge. Firstly, as the sentence space is discrete, it is difficult to make small perturbations along the direction of gradients. Secondly, the fluency of the generated examples cannot be guaranteed. In this paper, we propose MHA, which addresses both problems by performing Metropolis-Hastings sampling, whose proposal is designed with the guidance of gradients. Experiments on IMDB and SNLI show that our proposed MHA outperforms the baseline model on attacking capability. Adversarial training with MAH also leads to better robustness and performance.
Abstract（参考訳）: 自然言語処理(NLP)タスクの敵攻撃を効果的に構築することは、真の課題である。第一に、文空間が離散であるため、勾配の方向に沿って小さな摂動を作ることは困難である。第二に、生成された例の流布は保証できない。本稿では,メトロポリス・ハスティングスサンプリングによって両問題に対処するMHAを提案する。 imdbとsnliによる実験では,提案するmhaが攻撃能力のベースラインモデルを上回ることが示された。 MAHによる敵対的なトレーニングも、堅牢性とパフォーマンスの向上につながります。

関連論文リスト

WPN: An Unlearning Method Based on N-pair Contrastive Learning in Language Models [3.2200593267837987]
生成言語モデル(LM)は、事前訓練中に得られた有害な知識のために不適切または有害な出力を生成する。我々は,n対の相対的学習フレームワークにおいて,位置重み付き平均プールを利用する重み付き位置Nペア学習(WPN)を提案する。 OPTおよびGPT-NEO LMの実験では、WPNは有害反応の割合を効果的に減少させ、最大95.8%の無害率を達成することが示されている。
論文参考訳（メタデータ） (2024-08-18T12:37:03Z)
Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文参考訳（メタデータ） (2024-04-18T15:47:00Z)
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
論文参考訳（メタデータ） (2023-05-18T10:37:54Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement [18.532308729844598]
我々は,NLPモデルに侵入する新たなプロンプトベースの敵攻撃を提案する。悪質な目的によってマスク・アンド・フィリングによって敵の例を生成する。本手法は, 逆方向のサンプルを生成するのではなく, 大規模トレーニングセットに効率的に適用することができる。
論文参考訳（メタデータ） (2022-03-21T03:21:32Z)
Phrase-level Adversarial Example Generation for Neural Machine Translation [75.01476479100569]
本稿では,句レベルの逆例生成(PAEG)手法を提案し,モデルの堅牢性を高める。我々は,LDC中英語,IWSLT14ドイツ語-英語,WMT14英語-ドイツ語タスクの3つのベンチマークで検証を行った。
論文参考訳（メタデータ） (2022-01-06T11:00:49Z)
Bridge the Gap Between CV and NLP! A Gradient-based Textual Adversarial Attack Framework [17.17479625646699]
そこで本研究では,テキストの敵対的サンプルを作成するための統一的なフレームワークを提案する。本稿では,T-PGD(Textual Projected Gradient Descent)という攻撃アルゴリズムを用いて,我々のフレームワークをインスタンス化する。
論文参考訳（メタデータ） (2021-10-28T17:31:51Z)
Learning to Selectively Learn for Weakly-supervised Paraphrase Generation [81.65399115750054]
弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
論文参考訳（メタデータ） (2021-09-25T23:31:13Z)
A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。