論文の概要: On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation

• arxiv url: http://arxiv.org/abs/2209.03316v1
• Date: Wed, 7 Sep 2022 17:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:32:27.109371
• Title: On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation
• Title（参考訳）: 資源リッチ機械翻訳における事前学習とランダム初期化の相補性について
• Authors: Changtong Zan, Liang Ding, Li Shen, Yu Cao, Weifeng Liu, Dacheng Tao
• Abstract要約: テキスト表現の事前学習(PT)が低リソースニューラルネットワーク翻訳(NMT)に成功している 本稿では,それらの相補性と,PTとRIを協調させる最適輸送を用いたモデル融合アルゴリズムを提案する。 WMT'17 English- Chinese (20M) と WMT'19 English-German (36M) の2つのリソース豊富な翻訳ベンチマークの実験は、PT と RI が相互に相補的であることを示した。
• 参考スコア（独自算出の注目度）: 80.16548523140025
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Pre-Training (PT) of text representations has been successfully applied to low-resource Neural Machine Translation (NMT). However, it usually fails to achieve notable gains (some- times, even worse) on resource-rich NMT on par with its Random-Initialization (RI) counterpart. We take the first step to investigate the complementarity between PT and RI in resource-rich scenarios via two probing analyses, and find that: 1) PT improves NOT the accuracy, but the generalization by achieving flatter loss landscapes than that of RI; 2) PT improves NOT the confidence of lexical choice, but the negative diversity by assigning smoother lexical probability distributions than that of RI. Based on these insights, we propose to combine their complementarities with a model fusion algorithm that utilizes optimal transport to align neurons between PT and RI. Experiments on two resource-rich translation benchmarks, WMT'17 English-Chinese (20M) and WMT'19 English-German (36M), show that PT and RI could be nicely complementary to each other, achieving substantial improvements considering both translation accuracy, generalization, and negative diversity. Probing tools and code are released at: https://github.com/zanchangtong/PTvsRI.
• Abstract（参考訳）: テキスト表現の事前学習(pt)は低リソースニューラルマシン翻訳(nmt)にうまく適用されている。 しかし、通常、リソース豊富なNMTにおいて、Random-Initialization (RI) と同等の顕著な利益(時には、さらに悪い)を達成できない。 資源豊富なシナリオにおけるPTとRIの相補性について、2つの探索分析を用いて調査する。 1)PTは精度を向上するが、RIよりも平坦なロスランドスケープを達成して一般化する。 2) PT は RI よりもスムーズな語彙確率分布を割り当てることで, 語彙選択の信頼性を向上するが, 負の多様性は向上する。 これらの知見に基づき、PTとRI間のニューロンの配向に最適なトランスポートを利用するモデル融合アルゴリズムとそれらの相補性を組み合わせることを提案する。 WMT'17 English- Chinese (20M) と WMT'19 English-German (36M) の2つのリソース豊富な翻訳ベンチマークの実験により、PT と RI は相互に相補的になり、翻訳精度、一般化、負の多様性の両方を考慮して大幅に改善された。 ツールとコードは、https://github.com/zanchangtong/PTvsRI.comでリリースされている。

関連論文リスト

• Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages [6.049660810617423]
  XLMRScoreは、XLM-RoBERTa (XLMR)モデルで計算されたBERTScoreの言語間対応である。 WMT21QE共有タスクの4つの低リソース言語対に対して提案手法を評価する。
  論文  参考訳（メタデータ） (2022-07-31T16:23:23Z)
• BitextEdit: Automatic Bitext Editing for Improved Low-Resource Machine Translation [53.55009917938002]
  自動編集によりマイニングしたビットクストを改良することを提案する。 提案手法は,5つの低リソース言語ペアと10の翻訳方向に対して,最大8個のBLEUポイントでCCMatrixマイニングビットクストの品質を向上することを示す。
  論文  参考訳（メタデータ） (2021-11-12T16:00:39Z)
• On the Complementarity between Pre-Training and Back-Translation for Neural Machine Translation [63.914940899327966]
  事前学習(PT)と後方翻訳(BT)は単言語データを利用するためのシンプルで強力な方法である。 本稿では,PTとBTの相補性について検討する。 我々は、WMT16英語-ルーマニア語と英語-ロシア語ベンチマークで最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2021-10-05T04:01:36Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Exploiting Neural Query Translation into Cross Lingual Information Retrieval [49.167049709403166]
  既存のCLIRシステムは、高度ニューラルネットワーク翻訳(NMT)ではなく、統計ベースの機械翻訳(SMT)を主に活用している 本稿では,ユーザクリックスルーデータに基づいてクエリ変換ペアを抽出する新しいデータ拡張手法を提案する。 実験結果から,提案手法は強いベースラインよりも高い検索精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-10-26T15:28:19Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。