論文の概要: Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation

• arxiv url: http://arxiv.org/abs/2002.12867v1
• Date: Fri, 28 Feb 2020 17:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:29:18.880497
• Title: Do all Roads Lead to Rome? Understanding the Role of Initialization in Iterative Back-Translation
• Title（参考訳）: すべての道はローマに通じますか。 反復的バックトランスレーションにおける初期化の役割の理解
• Authors: Mikel Artetxe, Gorka Labaka, Noe Casas, Eneko Agirre
• Abstract要約: バックトランスレーションはニューラル機械翻訳(NMT)における単言語コーパスを活用するアプローチである 本稿では,事前学習が反復的バックトランスレーションにおいて果たす役割について分析する。 その結果,初期システムの品質は最終性能に影響を及ぼすが,その効果は比較的小さいことがわかった。
• 参考スコア（独自算出の注目度）: 48.26374127723598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Back-translation provides a simple yet effective approach to exploit monolingual corpora in Neural Machine Translation (NMT). Its iterative variant, where two opposite NMT models are jointly trained by alternately using a synthetic parallel corpus generated by the reverse model, plays a central role in unsupervised machine translation. In order to start producing sound translations and provide a meaningful training signal to each other, existing approaches rely on either a separate machine translation system to warm up the iterative procedure, or some form of pre-training to initialize the weights of the model. In this paper, we analyze the role that such initialization plays in iterative back-translation. Is the behavior of the final system heavily dependent on it? Or does iterative back-translation converge to a similar solution given any reasonable initialization? Through a series of empirical experiments over a diverse set of warmup systems, we show that, although the quality of the initial system does affect final performance, its effect is relatively small, as iterative back-translation has a strong tendency to convergence to a similar solution. As such, the margin of improvement left for the initialization method is narrow, suggesting that future research should focus more on improving the iterative mechanism itself.
• Abstract（参考訳）: バックトランスレーションは、ニューラルネットワーク翻訳(NMT)における単言語コーパスを活用するための、シンプルで効果的なアプローチを提供する。 逆モデルによって生成された合成並列コーパスを交互に使用することにより、2つの反対NMTモデルが共同で訓練される反復変種は、教師なし機械翻訳において中心的な役割を果たす。 音声翻訳と有意義な訓練信号を相互に提供し始めるために、既存のアプローチは、反復的な手順を温めるための別個の機械翻訳システムか、モデルの重みを初期化するための事前学習形式のいずれかに依存している。 本稿では,そのような初期化が反復的逆翻訳において果たす役割を分析する。 最終システムの振る舞いは、それに大きく依存しているか? あるいは、反復的バックトランスレーションは、妥当な初期化が与えられたときも同様の解に収束するだろうか? 多様なウォームアップシステムに関する一連の経験的実験を通じて,初期システムの品質は最終性能に影響を与えるが,反復バックトランスレーションは類似のソリューションに収束する傾向が強いため,その効果は比較的小さいことを示した。 そのため、初期化法に残された改善の限界は狭く、今後の研究は反復機構自体の改善に集中すべきである。

関連論文リスト

• Principled Paraphrase Generation with Parallel Corpora [52.78059089341062]
  ラウンドトリップ機械翻訳によって引き起こされる暗黙の類似性関数を形式化する。 一つのあいまいな翻訳を共有する非パラフレーズ対に感受性があることが示される。 この問題を緩和する別の類似度指標を設計する。
  論文  参考訳（メタデータ） (2022-05-24T17:22:42Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Unsupervised Neural Machine Translation with Generative Language Models Only [19.74865387759671]
  生成事前学習言語モデルから、最先端の教師なしニューラルネットワーク翻訳システムを導出する方法を示す。 本手法は, 数発増幅, 蒸留, 逆翻訳の3段階からなる。
  論文  参考訳（メタデータ） (2021-10-11T17:35:34Z)
• Learning Kernel-Smoothed Machine Translation with Retrieved Examples [30.17061384497846]
  データベースから類似の例を検索して翻訳プロセスを導く既存の非パラメトリックアプローチは有望であるが、検索した例に過度に適合する傾向にある。 我々は、ニューラルネットワーク翻訳モデルをオンラインで適応するための効果的なアプローチであるKSTER(Kernel-Smoothed Translation with Example Retrieval)を学習することを提案する。
  論文  参考訳（メタデータ） (2021-09-21T06:42:53Z)
• Meta Back-translation [111.87397401837286]
  プリトレーニングされたバック翻訳モデルから擬似並列データを生成する新しい手法を提案する。 本手法は,生成する擬似並列データに対して,検証セット上で良好な処理を行うためのフォワードトランスレーションモデルを訓練するように,事前訓練されたバックトランスレーションモデルを適用するメタラーニングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-02-15T20:58:32Z)
• Modeling Voting for System Combination in Machine Translation [92.09572642019145]
  本稿では,機械翻訳におけるシステムの組み合わせに対する投票のモデル化手法を提案する。 提案手法は,仮説間の関係を解析できるだけでなく,エンドツーエンドのトレーニングを可能にするため,統計的手法とニューラル手法の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2020-07-14T09:59:38Z)
• Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation [5.480070710278571]
  文の単純化による自動前処理(APP)によるブラックボックス機械翻訳システムの改善手法を提案する。 まず,ブラックボックスMTシステムによるバックトランスレーションにより,大規模なドメイン内パラフレーズコーパスを自動生成する手法を提案する。 この前処理によって、非前処理のソース文と比較して翻訳性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-22T14:15:53Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。