論文の概要: Bi-SimCut: A Simple Strategy for Boosting Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2206.02368v1
• Date: Mon, 6 Jun 2022 05:49:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 14:02:38.895441
• Title: Bi-SimCut: A Simple Strategy for Boosting Neural Machine Translation
• Title（参考訳）: Bi-SimCut: ニューラルネットワーク翻訳を促進するためのシンプルな戦略
• Authors: Pengzhi Gao, Zhongjun He, Hua Wu, Haifeng Wang
• Abstract要約: Bi-SimCutは、ニューラルネットワーク翻訳(NMT)のパフォーマンスを向上させるためのトレーニング戦略である。 双方向の事前訓練と一方向の微調整の2つの手順で構成されている。 5つの翻訳ベンチマークで高い翻訳性能を達成する。
• 参考スコア（独自算出の注目度）: 40.519699439015696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Bi-SimCut: a simple but effective training strategy to boost neural machine translation (NMT) performance. It consists of two procedures: bidirectional pretraining and unidirectional finetuning. Both procedures utilize SimCut, a simple regularization method that forces the consistency between the output distributions of the original and the cutoff sentence pairs. Without leveraging extra dataset via back-translation or integrating large-scale pretrained model, Bi-SimCut achieves strong translation performance across five translation benchmarks (data sizes range from 160K to 20.2M): BLEU scores of 31.16 for en -> de and 38.37 for de -> en on the IWSLT14 dataset, 30.78 for en -> de and 35.15 for de -> en on the WMT14 dataset, and 27.17 for zh -> en on the WMT17 dataset. SimCut is not a new method, but a version of Cutoff (Shen et al., 2020) simplified and adapted for NMT, and it could be considered as a perturbation-based method. Given the universality and simplicity of SimCut and Bi-SimCut, we believe they can serve as strong baselines for future NMT research.
• Abstract（参考訳）: ニューラルマシン翻訳(nmt)性能を向上させるための,単純かつ効果的なトレーニング戦略であるbi-simcutを紹介する。 双方向の事前学習と一方向の微調整の2つの手順からなる。 どちらの手順も、オリジナルとカットオフ文ペアの出力分布の一貫性を強制する単純な正規化手法であるSimCutを利用する。 バックトランスレーションによる追加データセットの活用や大規模な事前学習モデルの統合なしに、bi-simcutは5つの翻訳ベンチマーク(データサイズは160kから20.2m)で強力な翻訳性能を実現している。bleuスコアはen -> deで31.16、de ->で38.37、iwslt14データセットで30.78、en ->で35.15、wmt14データセットでenで35.15、zh ->で27.17である。 SimCut は新しい手法ではなく、Cutoff (Shen et al., 2020) の簡易化と NMT への適応版であり、摂動に基づく方法と見なすことができる。 SimCut と Bi-SimCut の普遍性と単純さを考えると、彼らは将来の NMT 研究の強力な基盤となることができると信じている。

関連論文リスト

• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
  本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。 ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。 MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-07T14:22:00Z)
• Improving Simultaneous Machine Translation with Monolingual Data [94.1085601198393]
  同時機械翻訳(SiMT)は通常、全文ニューラルネットワーク翻訳(NMT)モデルからシーケンスレベルの知識蒸留(Seq-KD)によって行われる。 本稿では,Sq-KD で蒸留した外部モノリンガルデータとバイリンガルデータを組み合わせて,SiMT の学生を訓練する SiMT の改善のためにモノリンガルデータを活用することを提案する。
  論文  参考訳（メタデータ） (2022-12-02T14:13:53Z)
• Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation [23.401781865904386]
  本研究では,NMTモデルをトレーニングし,未知の言語を英語と英語の両方に翻訳する2段階のアプローチを提案する。 最初の段階では、事前訓練されたXLM-RおよびRoBERTa重みにエンコーダデコーダモデルを初期化し、40言語で並列データに対して多言語微調整を行う。 第2段階では、この一般化機能を活用して、単言語データセットから合成並列データを生成し、その後、連続した後方翻訳ラウンドで双方向に訓練する。
  論文  参考訳（メタデータ） (2022-09-06T21:20:41Z)
• End-to-End Training for Back-Translation with Categorical Reparameterization Trick [0.0]
  バックトランスレーションは、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである 事前学習されたNMTモデルは、モノリンガル文を翻訳し、他のNMTモデルのトレーニングのために合成バイリンガル文ペアを作成する。 翻訳文の離散的性質は、情報勾配が2つのNMTモデル間で流れるのを防ぐ。
  論文  参考訳（メタデータ） (2022-02-17T06:31:03Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• BERT, mBERT, or BiBERT? A Study on Contextualized Embeddings for Neural Machine Translation [38.017030073108735]
  本稿では,バイリンガル事前学習型言語モデル(BiBERT)が最先端の翻訳性能を実現することを示す。 我々の最良のモデルは、IWSLT'14データセットでは30.45点、IWSLT'14データセットでは38.61点、WMT'14データセットでは31.26点、WMT'14データセットでは34.94点である。
  論文  参考訳（メタデータ） (2021-09-09T23:43:41Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。