論文の概要: Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings

• arxiv url: http://arxiv.org/abs/2010.07761v1
• Date: Thu, 15 Oct 2020 14:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 02:59:07.384100
• Title: Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings
• Title（参考訳）: 自己学習型コンテキスト埋め込みによる教師なしバイテクストマイニングと翻訳
• Authors: Phillip Keung, Julian Salazar, Yichao Lu, Noah A. Smith
• Abstract要約: 不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 51.47607125262885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We describe an unsupervised method to create pseudo-parallel corpora for machine translation (MT) from unaligned text. We use multilingual BERT to create source and target sentence embeddings for nearest-neighbor search and adapt the model via self-training. We validate our technique by extracting parallel sentence pairs on the BUCC 2017 bitext mining task and observe up to a 24.5 point increase (absolute) in F1 scores over previous unsupervised methods. We then improve an XLM-based unsupervised neural MT system pre-trained on Wikipedia by supplementing it with pseudo-parallel text mined from the same corpus, boosting unsupervised translation performance by up to 3.5 BLEU on the WMT'14 French-English and WMT'16 German-English tasks and outperforming the previous state-of-the-art. Finally, we enrich the IWSLT'15 English-Vietnamese corpus with pseudo-parallel Wikipedia sentence pairs, yielding a 1.2 BLEU improvement on the low-resource MT task. We demonstrate that unsupervised bitext mining is an effective way of augmenting MT datasets and complements existing techniques like initializing with pre-trained contextual embeddings.
• Abstract（参考訳）: 不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 提案手法は,bucc 2017 bitext miningタスクで並列文ペアを抽出し,従来の教師なし手法よりもf1スコアの24.5ポイント増加(絶対値)を観測することで検証する。 そして、同じコーパスから抽出した擬似並列テキストを補足し、WMT'14フランス語とWMT'16ドイツ語のタスクで最大3.5BLEUまで教師なし翻訳性能を高め、以前の最先端のタスクより優れたXLMベースの教師なしニューラルネットワークシステムを改善する。 最後に、IWSLT'15 English-Vietnamese corpusを疑似並列Wikipedia文ペアで強化し、低リソースMTタスクで1.2BLEUの改善を実現した。 教師なしバイテキストマイニングはmtデータセットの拡張に有効な方法であり、事前学習されたコンテキスト埋め込みによる初期化のような既存のテクニックを補完する。

関連論文リスト

• Confidence Based Bidirectional Global Context Aware Training Framework for Neural Machine Translation [74.99653288574892]
  我々は、ニューラルネットワーク翻訳(NMT)のための信頼に基づく双方向グローバルコンテキスト認識(CBBGCA)トレーニングフレームワークを提案する。 提案したCBBGCAトレーニングフレームワークは,3つの大規模翻訳データセットにおいて,NMTモデルを+1.02,+1.30,+0.57 BLEUスコアで大幅に改善する。
  論文  参考訳（メタデータ） (2022-02-28T10:24:22Z)
• BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation [53.55009917938002]
  自動編集によりマイニングしたビットクストを改良することを提案する。 提案手法は,5つの低リソース言語ペアと10の翻訳方向に対して,最大8個のBLEUポイントでCCMatrixマイニングビットクストの品質を向上することを示す。
  論文  参考訳（メタデータ） (2021-11-12T16:00:39Z)
• Exploiting Curriculum Learning in Unsupervised Neural Machine Translation [28.75229367700697]
  複数の粒度から擬似バイテキストを徐々に活用するカリキュラム学習手法を提案する。 WMT 14 En-Fr, WMT 16 En-De, WMT 16 En-Ro, LDC En-Zh 翻訳タスクの実験結果から,提案手法はより高速な収束速度で一貫した改善を実現することが示された。
  論文  参考訳（メタデータ） (2021-09-23T07:18:06Z)
• Phrase-level Active Learning for Neural Machine Translation [107.28450614074002]
  ドメイン内データの翻訳に所定の予算を費やすことのできる,アクティブな学習環境を提案する。 我々は、人間の翻訳者へのルーティングのために、新しいドメインの未ラベルデータから全文と個々の句を選択する。 ドイツ語と英語の翻訳タスクでは,不確実性に基づく文選択法に対して,能動的学習手法が一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-06-21T19:20:42Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task [111.91077204077817]
  我々は英語・中国語・英語・ポーランド語・ドイツ語・アッパー・ソルビアンという3つの言語対の4つの翻訳指導に参加した。 言語ペアの異なる条件に基づいて、我々は多様なニューラルネットワーク翻訳(NMT)技術の実験を行った。 私たちの提出書では、主要なシステムは英語、中国語、ポーランド語、英語、ドイツ語から上セルビア語への翻訳の道順で第一位を獲得しました。
  論文  参考訳（メタデータ） (2020-10-11T00:40:05Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。