論文の概要: AdvAug: Robust Adversarial Augmentation for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2006.11834v3
• Date: Fri, 3 Jul 2020 02:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 12:16:25.015519
• Title: AdvAug: Robust Adversarial Augmentation for Neural Machine Translation
• Title（参考訳）: AdvAug: ニューラルネットワーク翻訳のためのロバスト対応強化
• Authors: Yong Cheng, Lu Jiang, Wolfgang Macherey, Jacob Eisenstein
• Abstract要約: ニューラルマシン翻訳(NMT)のための新しい逆数拡張法を提案する。 主な考え方は、2つの近傍分布からサンプリングされた仮想文に対するビジナルリスクを最小化することである。 次に、シーケンス・ツー・シーケンス学習における仮想文の埋め込みを用いたNMTモデルのトレーニングを行うAdvAugについて検討する。
• 参考スコア（独自算出の注目度）: 34.768151821545885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a new adversarial augmentation method for Neural Machine Translation (NMT). The main idea is to minimize the vicinal risk over virtual sentences sampled from two vicinity distributions, of which the crucial one is a novel vicinity distribution for adversarial sentences that describes a smooth interpolated embedding space centered around observed training sentence pairs. We then discuss our approach, AdvAug, to train NMT models using the embeddings of virtual sentences in sequence-to-sequence learning. Experiments on Chinese-English, English-French, and English-German translation benchmarks show that AdvAug achieves significant improvements over the Transformer (up to 4.9 BLEU points), and substantially outperforms other data augmentation techniques (e.g. back-translation) without using extra corpora.
• Abstract（参考訳）: 本稿では,ニューラルマシン翻訳(nmt)のための新しい相反的拡張法を提案する。 主なアイデアは、観察された訓練文ペアを中心とした滑らかな補間埋め込み空間を記述する敵文の新しい周辺分布が重要な2つの周辺分布からサンプリングされた仮想文に対する勝利リスクを最小化することである。 そこで本研究では,逐次学習における仮想文の埋め込みを用いたnmtモデルの学習手法であるadvaugについて述べる。 中国語、英語、フランス語、ドイツ語の翻訳ベンチマークの実験では、AdvAugはトランスフォーマー(最大4.9 BLEUポイント)よりも大幅に改善され、余分なコーパスを使わずに他のデータ拡張技術(例えば、バックトランスレーション)よりも大幅に向上している。

関連論文リスト

• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• TransAug: Translate as Augmentation for Sentence Embeddings [8.89078869712101]
  本稿では,翻訳文ペアをテキスト用データ拡張として活用するための最初の調査であるTransAugについて述べる。 他の言語設定で訓練されたエンコーダを採用する代わりに、まず中国語のエンコーダをSimCSEエンコーダから蒸留し、その埋め込みが意味空間に近いようにし、暗黙のデータ拡張として分解することができる。 提案手法は,SimCSEとSentence-T5の両性能を向上し,SentEvalが評価したトランスファータスクにおいて,対応するトラックにおける最高のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-10-30T03:13:28Z)
• Crosslingual Embeddings are Essential in UNMT for Distant Languages: An English to IndoAryan Case Study [28.409618457653135]
  言語間埋め込みによるUNMTモデルの埋め込み層の初期化は,既存の手法よりもBLEUスコアが大幅に向上したことを示す。 提案手法は,MASS (Masked Sequence to Sequence) とDAE (Denoising Autoencoder) UNMT (Denoising Autoencoder) UNMT) を用いて実験を行った。
  論文  参考訳（メタデータ） (2021-06-09T11:31:27Z)
• On the Strengths of Cross-Attention in Pretrained Transformers for Machine Translation [44.36297199737276]
  機械翻訳の文脈におけるトランスフォーマーアーキテクチャにおけるクロスアテンションの力について検討する。 新しい言語でデータセット上で翻訳モデルを微調整するトランスファーラーニング実験では、新しい言語の埋め込みとは別に、競合するBLEUパフォーマンスを得るためには、クロスアテンションパラメータのみを微調整する必要があることがわかります。
  論文  参考訳（メタデータ） (2021-04-18T08:41:01Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)
• Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training [66.39561682517741]
  unsupervised neural machine translation (UNMT) は機械翻訳コミュニティに大きな関心を集めている。 UNMTの主な利点は、必要な大規模な訓練用テキストの簡単な収集にある。 本稿では,UNMT ベースのシステムのロバスト性を改善するため,まずノイズを考慮に入れた。
  論文  参考訳（メタデータ） (2020-02-28T05:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。