論文の概要: Masked Adversarial Generation for Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2109.00417v1
- Date: Wed, 1 Sep 2021 14:56:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:32:07.073309
- Title: Masked Adversarial Generation for Neural Machine Translation
- Title(参考訳): ニューラルマシン翻訳のためのマスキング逆生成
- Authors: Badr Youbi Idrissi, St\'ephane Clinchant
- Abstract要約: 我々は,言語モデルに基づいて逆生成器を訓練することにより,モデルを攻撃することを学ぶ。
実験の結果,機械翻訳モデルの堅牢性は向上し,競合する手法よりも高速であることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attacking Neural Machine Translation models is an inherently combinatorial
task on discrete sequences, solved with approximate heuristics. Most methods
use the gradient to attack the model on each sample independently. Instead of
mechanically applying the gradient, could we learn to produce meaningful
adversarial attacks ? In contrast to existing approaches, we learn to attack a
model by training an adversarial generator based on a language model. We
propose the Masked Adversarial Generation (MAG) model, that learns to perturb
the translation model throughout the training process. The experiments show
that it improves the robustness of machine translation models, while being
faster than competing methods.
- Abstract(参考訳): ニューラルネットワーク翻訳モデルの攻撃は、本質的には離散列の組合せ的タスクであり、近似ヒューリスティックスで解決される。
ほとんどのメソッドは勾配を使って各サンプルのモデルを独立して攻撃する。
機械的に勾配を適用する代わりに、有意義な敵の攻撃を学べるか?
既存のアプローチとは対照的に、言語モデルに基づいて逆生成器を訓練することで、モデルを攻撃することを学ぶ。
本稿では,学習過程を通じて翻訳モデルを摂動させるMasked Adversarial Generation (MAG)モデルを提案する。
実験の結果,機械翻訳モデルの堅牢性は向上し,競合する手法よりも高速であることがわかった。
関連論文リスト
- TransFool: An Adversarial Attack against Neural Machine Translation
Models [49.50163349643615]
敵攻撃に対するニューラルネットワーク翻訳(NMT)モデルの脆弱性を調査し,TransFoolと呼ばれる新たな攻撃アルゴリズムを提案する。
クリーンなサンプルと高いレベルのセマンティックな類似性を保ったソースコード言語で、流動的な逆の例を生成する。
自動的および人的評価に基づいて、TransFoolは、既存の攻撃と比較して成功率、意味的類似性、流布率の改善につながる。
論文 参考訳(メタデータ) (2023-02-02T08:35:34Z) - Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。
我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。
質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
論文 参考訳(メタデータ) (2021-10-21T13:04:21Z) - Doubly-Trained Adversarial Data Augmentation for Neural Machine
Translation [8.822338727711715]
我々は、モデルに攻撃を与え、ソース側の意味を保存できる敵の強化サンプルを生成する。
実験の結果,これらの逆方向のサンプルはモデルの堅牢性を向上させることがわかった。
論文 参考訳(メタデータ) (2021-10-12T02:23:00Z) - A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
自然言語処理のための新しいブラックボックス文レベルアタックを提案する。
本手法は,事前学習した言語モデルを微調整して,逆例を生成する。
提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-23T14:43:13Z) - Affine-Invariant Robust Training [0.0]
本研究は,空間的ロバスト性に関する研究をレビューし,入力毎に最悪のアフィン変換を求めるため,ゼロ階最適化アルゴリズムを提案する。
提案手法は,頑健なモデルを効果的に生成し,非パラメトリック逆摂動の導入を可能にする。
論文 参考訳(メタデータ) (2020-10-08T18:59:19Z) - Differentiable Language Model Adversarial Attacks on Categorical
Sequence Classifiers [0.0]
敵対的攻撃パラダイムは、ディープラーニングモデルの脆弱性の様々なシナリオを探索する。
本研究では,言語モデルの微調整を,敵対的攻撃のジェネレータとして利用する。
我々のモデルは、銀行取引、電子健康記録、NLPデータセットに関する多様なデータセットに対して機能する。
論文 参考訳(メタデータ) (2020-06-19T11:25:36Z) - Imitation Attacks and Defenses for Black-box Machine Translation Systems [86.92681013449682]
ブラックボックス機械翻訳(MT)システムは高い商業価値を持ち、エラーはコストがかかる。
MTシステムはモノリンガル文を問合せし,その出力を模倣する訓練モデルを用いて盗むことができることを示す。
本稿では,模倣モデルの最適化を誤指示するために,翻訳出力を変更するディフェンスを提案する。
論文 参考訳(メタデータ) (2020-04-30T17:56:49Z) - Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。
提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
論文 参考訳(メタデータ) (2020-04-18T14:14:00Z) - Regularizers for Single-step Adversarial Training [49.65499307547198]
本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。
正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
論文 参考訳(メタデータ) (2020-02-03T09:21:04Z) - Semi-Autoregressive Training Improves Mask-Predict Decoding [119.8412758943192]
本研究では,マスク予測の半自己回帰動作を模倣した条件付きマスキング言語モデルSMARTを提案する。
SMARTでトレーニングされたモデルは、マスク予測デコードを使用すると高品質な変換を生成し、完全な自己回帰モデルで残りの性能ギャップを効果的に閉じる。
論文 参考訳(メタデータ) (2020-01-23T19:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。