論文の概要: Cross-lingual Supervision Improves Unsupervised Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.03137v3
• Date: Thu, 1 Apr 2021 03:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:48:33.882368
• Title: Cross-lingual Supervision Improves Unsupervised Neural Machine Translation
• Title（参考訳）: 言語間スーパービジョンによる教師なしニューラルネットワーク翻訳の改善
• Authors: Mingxuan Wang, Hongxiao Bai, Hai Zhao, Lei Li
• Abstract要約: 我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。 6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
• 参考スコア（独自算出の注目度）: 97.84871088440102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural machine translation~(NMT) is ineffective for zero-resource languages. Recent works exploring the possibility of unsupervised neural machine translation (UNMT) with only monolingual data can achieve promising results. However, there are still big gaps between UNMT and NMT with parallel supervision. In this work, we introduce a multilingual unsupervised NMT (\method) framework to leverage weakly supervised signals from high-resource language pairs to zero-resource translation directions. More specifically, for unsupervised language pairs \texttt{En-De}, we can make full use of the information from parallel dataset \texttt{En-Fr} to jointly train the unsupervised translation directions all in one model. \method is based on multilingual models which require no changes to the standard unsupervised NMT. Empirical results demonstrate that \method significantly improves the translation quality by more than 3 BLEU score on six benchmark unsupervised translation directions.
• Abstract（参考訳）: ニューラルマシン翻訳~(NMT)はゼロリソース言語では効果がない。 モノリンガルデータのみを用いたunsupervised neural machine translation (UNMT)の可能性を探る最近の研究は、有望な結果をもたらすことができる。 しかし、UNMTとNMTの並列監視には大きなギャップがある。 本研究では,多言語非教師付きNMT(\method)フレームワークを導入し,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用する。 より具体的には、教師なし言語対 \texttt{En-De} に対して、並列データセット \texttt{En-Fr} からの情報をフル活用して、教師なし翻訳方向を1つのモデルで全てトレーニングすることができる。 \methodは標準教師なしNTTの変更を必要としない多言語モデルに基づいている。 実験の結果、\methodは6つのベンチマークで教師なしの翻訳指示で3 bleuスコア以上の翻訳品質を大幅に向上させた。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• An Empirical study of Unsupervised Neural Machine Translation: analyzing NMT output, model's behavior and sentences' contribution [5.691028372215281]
  Unsupervised Neural Machine Translation (UNMT) は、人間の翻訳された並列データがないと仮定して、NMTの結果を改善することに焦点を当てている。 私たちは、フランス語、グジャラーティ、カザフ語という3つの非常に多様な言語に焦点を合わせ、バイリンガルなNMTモデルを英語から英語に訓練し、様々なレベルの監督を行っている。
  論文  参考訳（メタデータ） (2023-12-19T20:35:08Z)
• Boosting Unsupervised Machine Translation with Pseudo-Parallel Data [2.900810893770134]
  本研究では,モノリンガルコーパスから抽出した擬似並列文対と,モノリンガルコーパスから逆転写された合成文対を利用する訓練戦略を提案する。 裏書きされたデータのみに基づいてトレーニングされたベースラインに対して、最大14.5 BLEUポイント(ウクライナ語)の改善を達成しました。
  論文  参考訳（メタデータ） (2023-10-22T10:57:12Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)
• When and Why is Unsupervised Neural Machine Translation Useless? [43.68079166777282]
  様々なデータ設定を持つ10の翻訳タスクにおいて、教師なし手法が妥当な翻訳を生成できない条件を分析する。 我々の分析は、現在の無監督NMTの限界を指摘し、即時の研究方向も示唆している。
  論文  参考訳（メタデータ） (2020-04-22T14:00:55Z)
• Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios [61.88012735215636]
  巨大な単言語コーパスのみに依存するunsupervised neural machine translation (UNMT)は、いくつかの翻訳タスクにおいて顕著な成果を上げている。 現実のシナリオでは、エストニア語のような極低リソース言語には巨大なモノリンガルコーパスは存在しない。 頑健なUNMTシステムの訓練と性能向上のためのUNMT自己学習機構を提案する。
  論文  参考訳（メタデータ） (2020-04-09T12:07:17Z)
• A Multilingual View of Unsupervised Machine Translation [22.32130421893608]
  本稿では、教師付きおよび教師なしのセットアップを含む多言語ニューラルマシン翻訳のための確率的フレームワークを提案する。 提案手法は,WMT'14,WMT'16,WMT'16,WMT'16,WMT'16の非教師付きモデルよりもBLEUスコアが高いことを示す。
  論文  参考訳（メタデータ） (2020-02-07T18:50:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。