論文の概要: Boosting Unsupervised Machine Translation with Pseudo-Parallel Data

• arxiv url: http://arxiv.org/abs/2310.14262v1
• Date: Sun, 22 Oct 2023 10:57:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:52:09.440376
• Title: Boosting Unsupervised Machine Translation with Pseudo-Parallel Data
• Title（参考訳）: Pseudo-Parallelデータによる教師なし機械翻訳の高速化
• Authors: Ivana Kvapil\'ikov\'a and Ond\v{r}ej Bojar
• Abstract要約: 本研究では,モノリンガルコーパスから抽出した擬似並列文対と,モノリンガルコーパスから逆転写された合成文対を利用する訓練戦略を提案する。 裏書きされたデータのみに基づいてトレーニングされたベースラインに対して、最大14.5 BLEUポイント(ウクライナ語)の改善を達成しました。
• 参考スコア（独自算出の注目度）: 2.900810893770134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even with the latest developments in deep learning and large-scale language modeling, the task of machine translation (MT) of low-resource languages remains a challenge. Neural MT systems can be trained in an unsupervised way without any translation resources but the quality lags behind, especially in truly low-resource conditions. We propose a training strategy that relies on pseudo-parallel sentence pairs mined from monolingual corpora in addition to synthetic sentence pairs back-translated from monolingual corpora. We experiment with different training schedules and reach an improvement of up to 14.5 BLEU points (English to Ukrainian) over a baseline trained on back-translated data only.
• Abstract（参考訳）: ディープラーニングと大規模言語モデリングの最近の進歩にもかかわらず、低リソース言語の機械翻訳(MT)の課題は依然として課題である。 ニューラルMTシステムは、翻訳リソースを使わずに教師なしの方法で訓練することができるが、特に真の低リソース条件下では、品質が遅れている。 本稿では,単言語コーパスから得られた擬似並列文ペアと単言語コーパスから逆訳された合成文ペアによる学習戦略を提案する。 異なるトレーニングスケジュールで実験を行い,バックトランザクショナルデータのみをトレーニングしたベースラインに対して,最大14.5 bleu点(ウクライナ語では14.5 bleu点)の改善を達成した。

関連論文リスト

• Relevance-guided Neural Machine Translation [5.691028372215281]
  ニューラルネットワーク翻訳(NMT)のための説明可能性に基づく学習手法を提案する。 その結果,低リソース環境下でのトレーニングにおいて,本手法が有望であることが示唆された。
  論文  参考訳（メタデータ） (2023-11-30T21:52:02Z)
• Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning [48.15259834021655]
  数百の言語をカバーする多言語機械翻訳モデルを構築するための実践的なアプローチを提案する。 私たちは、異なる言語ペアのデータ可用性に応じて、教師付きと自己監督型の目的の混合を使用します。 この2つのトレーニングパラダイム間の相乗効果により、ゼロリソース設定で高品質な翻訳を生成できることを実証する。
  論文  参考訳（メタデータ） (2022-01-09T23:36:44Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Learning Policies for Multilingual Training of Neural Machine Translation Systems [36.292020779233056]
  低リソースのMNMT(Multilingual Neural Machine Translation)は通常、1つ以上の言語ペアの翻訳性能を改善する。 本稿では,2つの簡単な検索ベースのカリキュラムを提案し,微調整などの既存手法と併用して翻訳性能を向上させる。
  論文  参考訳（メタデータ） (2021-03-11T21:38:04Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)
• Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios [61.88012735215636]
  巨大な単言語コーパスのみに依存するunsupervised neural machine translation (UNMT)は、いくつかの翻訳タスクにおいて顕著な成果を上げている。 現実のシナリオでは、エストニア語のような極低リソース言語には巨大なモノリンガルコーパスは存在しない。 頑健なUNMTシステムの訓練と性能向上のためのUNMT自己学習機構を提案する。
  論文  参考訳（メタデータ） (2020-04-09T12:07:17Z)
• Cross-lingual Supervision Improves Unsupervised Neural Machine Translation [97.84871088440102]
  我々は,高リソース言語対からゼロリソース翻訳方向への弱教師付き信号を活用するために,多言語非教師付きNMTフレームワークを導入する。 6つのベンチマークの教師なし翻訳方向において,BLEUスコアが3以上あることにより,翻訳品質が大幅に向上する。
  論文  参考訳（メタデータ） (2020-04-07T05:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。