論文の概要: Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2204.06812v1
• Date: Thu, 14 Apr 2022 08:16:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 13:03:17.177193
• Title: Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
• Title（参考訳）: より一般化するための学習: ニューラルネットワーク翻訳のための連続セマンティック拡張
• Authors: Xiangpeng Wei, Heng Yu, Yue Hu, Rongxiang Weng, Weihua Luo, Jun Xie, Rong Jin
• Abstract要約: CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
• 参考スコア（独自算出の注目度）: 50.54059385277964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The principal task in supervised neural machine translation (NMT) is to learn to generate target sentences conditioned on the source inputs from a set of parallel sentence pairs, and thus produce a model capable of generalizing to unseen instances. However, it is commonly observed that the generalization performance of the model is highly influenced by the amount of parallel data used in training. Although data augmentation is widely used to enrich the training data, conventional methods with discrete manipulations fail to generate diverse and faithful training samples. In this paper, we present a novel data augmentation paradigm termed Continuous Semantic Augmentation (CsaNMT), which augments each training instance with an adjacency semantic region that could cover adequate variants of literal expression under the same meaning. We conduct extensive experiments on both rich-resource and low-resource settings involving various language pairs, including WMT14 English-{German,French}, NIST Chinese-English and multiple low-resource IWSLT translation tasks. The provided empirical evidences show that CsaNMT sets a new level of performance among existing augmentation techniques, improving on the state-of-the-art by a large margin. The core codes are contained in Appendix E.
• Abstract（参考訳）: 教師付きニューラルネットワーク翻訳(NMT)の主な課題は、一連の並列文ペアからソース入力に条件付けられたターゲット文を生成することを学び、その結果、目に見えないインスタンスに一般化可能なモデルを生成することである。 しかし,モデルの一般化性能は,訓練で使用する並列データの量に大きく影響されていることが一般的である。 データ拡張はトレーニングデータの強化に広く用いられているが、離散的な操作を行う従来の方法は多様で忠実なトレーニングサンプルを生成することができない。 本稿では,リテラル表現の適切な変種を同じ意味でカバー可能な隣接意味領域で各トレーニングインスタンスを補完する,連続的意味拡張(csanmt)と呼ばれる新しいデータ拡張パラダイムを提案する。 我々は、WMT14 English-{German, French}, NIST Chinese- English and multiple low-resource IWSLT translation taskなど、多種多様な言語ペアを含むリッチリソースおよび低リソース設定について広範な実験を行った。 得られた実証的証拠は、CsaNMTが既存の拡張技術の中で新しいレベルのパフォーマンスを設定し、最先端の技術を大きなマージンで改善していることを示している。 コアコードは appendix e に含まれている。

関連論文リスト

• Relevance-guided Neural Machine Translation [5.691028372215281]
  ニューラルネットワーク翻訳(NMT)のための説明可能性に基づく学習手法を提案する。 その結果,低リソース環境下でのトレーニングにおいて,本手法が有望であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-30T21:52:02Z)
• Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
  Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。 提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。 我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
  論文  参考訳（メタデータ） (2023-11-14T21:04:03Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages [3.475371300689165]
  本稿では,高品質な文ペアを増補し,半教師付き方式でNMTモデルを訓練することにより,低リソース言語の問題に対処する,シンプルかつ効果的な手法を提案する。 具体的には、教師あり学習におけるクロスエントロピー損失と、疑似および拡張的対象文が与えられた教師なしのファッションにおけるKLディバージェンスを組み合わせる。 実験の結果,提案手法はNMTベースライン,特に0.46-2.03BLEUスコアを持つ低リソースデータセットにおいて,NMTベースラインを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-04-02T15:24:08Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Synthetic Source Language Augmentation for Colloquial Neural Machine Translation [3.303435360096988]
  youtube と twitter から収集した新しいインドネシア英語テストセットを開発した。 インドネシア語正規語のソースに合成スタイル拡張を行い、ベースラインのId-Enモデルを改善することを示す。
  論文  参考訳（メタデータ） (2020-12-30T14:52:15Z)
• Uncertainty-Aware Semantic Augmentation for Neural Machine Translation [37.555675157198145]
  本稿では,複数の意味的に等価なソース文間の普遍的な意味情報を明示的にキャプチャする不確実性を考慮した意味拡張を提案する。 我々のアプローチは、強いベースラインと既存の手法を大きく上回る。
  論文  参考訳（メタデータ） (2020-10-09T07:48:09Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。