論文の概要: Masked Adversarial Generation for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2109.00417v1
• Date: Wed, 1 Sep 2021 14:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 14:32:07.073309
• Title: Masked Adversarial Generation for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のためのマスキング逆生成
• Authors: Badr Youbi Idrissi, St\'ephane Clinchant
• Abstract要約: 我々は,言語モデルに基づいて逆生成器を訓練することにより,モデルを攻撃することを学ぶ。 実験の結果,機械翻訳モデルの堅牢性は向上し,競合する手法よりも高速であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attacking Neural Machine Translation models is an inherently combinatorial task on discrete sequences, solved with approximate heuristics. Most methods use the gradient to attack the model on each sample independently. Instead of mechanically applying the gradient, could we learn to produce meaningful adversarial attacks ? In contrast to existing approaches, we learn to attack a model by training an adversarial generator based on a language model. We propose the Masked Adversarial Generation (MAG) model, that learns to perturb the translation model throughout the training process. The experiments show that it improves the robustness of machine translation models, while being faster than competing methods.
• Abstract（参考訳）: ニューラルネットワーク翻訳モデルの攻撃は、本質的には離散列の組合せ的タスクであり、近似ヒューリスティックスで解決される。 ほとんどのメソッドは勾配を使って各サンプルのモデルを独立して攻撃する。 機械的に勾配を適用する代わりに、有意義な敵の攻撃を学べるか? 既存のアプローチとは対照的に、言語モデルに基づいて逆生成器を訓練することで、モデルを攻撃することを学ぶ。 本稿では,学習過程を通じて翻訳モデルを摂動させるMasked Adversarial Generation (MAG)モデルを提案する。 実験の結果,機械翻訳モデルの堅牢性は向上し,競合する手法よりも高速であることがわかった。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Simple and Effective Masked Diffusion Language Models [48.68198363304619]
  単純なマスク付き離散拡散は以前考えられていたよりも性能が高いことを示す。 私たちの目標はシンプルなフォーム -- 古典的なマスキング言語モデリング損失の混合です。 言語モデリングベンチマークでは、現代のエンジニアリングプラクティスで訓練された様々なマスク付き拡散モデルが、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-06-11T17:51:40Z)
• TransFool: An Adversarial Attack against Neural Machine Translation Models [49.50163349643615]
  敵攻撃に対するニューラルネットワーク翻訳(NMT)モデルの脆弱性を調査し,TransFoolと呼ばれる新たな攻撃アルゴリズムを提案する。 クリーンなサンプルと高いレベルのセマンティックな類似性を保ったソースコード言語で、流動的な逆の例を生成する。 自動的および人的評価に基づいて、TransFoolは、既存の攻撃と比較して成功率、意味的類似性、流布率の改善につながる。
  論文  参考訳（メタデータ） (2023-02-02T08:35:34Z)
• A Differentiable Language Model Adversarial Attack on Text Classifiers [10.658675415759697]
  自然言語処理のための新しいブラックボックス文レベルアタックを提案する。 本手法は,事前学習した言語モデルを微調整して,逆例を生成する。 提案手法は, 計算量と人的評価の両方において, 多様なNLP問題において, 競合相手よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-23T14:43:13Z)
• Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers [0.0]
  敵対的攻撃パラダイムは、ディープラーニングモデルの脆弱性の様々なシナリオを探索する。 本研究では,言語モデルの微調整を,敵対的攻撃のジェネレータとして利用する。 我々のモデルは、銀行取引、電子健康記録、NLPデータセットに関する多様なデータセットに対して機能する。
  論文  参考訳（メタデータ） (2020-06-19T11:25:36Z)
• Imitation Attacks and Defenses for Black-box Machine Translation Systems [86.92681013449682]
  ブラックボックス機械翻訳(MT)システムは高い商業価値を持ち、エラーはコストがかかる。 MTシステムはモノリンガル文を問合せし,その出力を模倣する訓練モデルを用いて盗むことができることを示す。 本稿では,模倣モデルの最適化を誤指示するために,翻訳出力を変更するディフェンスを提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:56:49Z)
• Single-step Adversarial training with Dropout Scheduling [59.50324605982158]
  単段階逆行訓練法を用いて学習したモデルは、単段階逆行の発生を防止するために学習する。 提案手法を用いて訓練されたモデルは, 単段階攻撃と多段階攻撃の両方に対して堅牢である。
  論文  参考訳（メタデータ） (2020-04-18T14:14:00Z)
• Regularizers for Single-step Adversarial Training [49.65499307547198]
  本稿では,1ステップの対数学習手法を用いて,ロバストモデル学習を支援する3種類の正則化器を提案する。 正規化器は、ロバストモデルと擬ロバストモデルとを区別する特性を利用することにより、勾配マスキングの効果を緩和する。
  論文  参考訳（メタデータ） (2020-02-03T09:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。