論文の概要: End-to-End Training for Back-Translation with Categorical Reparameterization Trick

• arxiv url: http://arxiv.org/abs/2202.08465v4
• Date: Sat, 29 Jun 2024 08:00:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 18:47:18.457010
• Title: End-to-End Training for Back-Translation with Categorical Reparameterization Trick
• Title（参考訳）: カテゴリー別再パラメータ化トリックによる後方翻訳のエンドツーエンドトレーニング
• Authors: DongNyeong Heo, Heeyoul Choi,
• Abstract要約: バックトランスレーションは、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである 事前学習されたNMTモデルは、モノリンガル文を翻訳し、他のNMTモデルのトレーニングのために合成バイリンガル文ペアを作成する。 翻訳文の離散的性質は、情報勾配が2つのNMTモデル間で流れるのを防ぐ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Back-translation (BT) is an effective semi-supervised learning framework in neural machine translation (NMT). A pre-trained NMT model translates monolingual sentences and makes synthetic bilingual sentence pairs for the training of the other NMT model, and vice versa. Understanding the two NMT models as inference and generation models, respectively, the training method of variational auto-encoder (VAE) was applied in previous works, which is a mainstream framework of generative models. However, the discrete property of translated sentences prevents gradient information from flowing between the two NMT models. In this paper, we propose the categorical reparameterization trick (CRT) that makes NMT models generate differentiable sentences so that the VAE's training framework can work in an end-to-end fashion. Our BT experiment conducted on a WMT benchmark dataset demonstrates the superiority of our proposed CRT compared to the Gumbel-softmax trick, which is a popular reparameterization method for categorical variable. Moreover, our experiments conducted on multiple WMT benchmark datasets demonstrate that our proposed end-to-end training framework is effective in terms of BLEU scores not only compared to its counterpart baseline which is not trained in an end-to-end fashion, but also compared to other previous BT works. The code is available at the web.
• Abstract（参考訳）: Back-translation(BT)は、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである。 事前学習されたNMTモデルは単言語文を翻訳し、他のNMTモデルのトレーニングのための合成バイリンガル文ペアを作る。 2つのNMTモデルを推論モデルと生成モデルとして理解し, 生成モデルの主流フレームワークである変分オートエンコーダ(VAE)のトレーニング手法を適用した。 しかし、翻訳文の離散性は、勾配情報が2つのNMTモデル間で流れるのを防ぐ。 本稿では,NMTモデルが識別可能な文を生成し,VAEのトレーニングフレームワークがエンドツーエンドで動作できるように,分類的パラメータ化トリック(CRT)を提案する。 WMTベンチマークで実施したBT実験は,分類変数の再パラメータ化手法であるGumbel-softmax法と比較して,提案したCRTの優位性を示す。 さらに、複数のWMTベンチマークデータセットを用いて行った実験により、提案したエンドツーエンドトレーニングフレームワークがBLEUスコアの点で有効であることを示す。 コードはWebで入手できる。

関連論文リスト

• Choose the Final Translation from NMT and LLM hypotheses Using MBR Decoding: HW-TSC's Submission to the WMT24 General MT Shared Task [9.819139035652137]
  本稿では,Huawei Translate Services Center(HW-TSC)をWMT24汎用機械翻訳(MT)共有タスクに提出する。 我々は、正規化ドロップアウト、双方向トレーニング、データ多様化、前方翻訳、後方翻訳、交互学習、カリキュラム学習、トランスダクティブアンサンブル学習などのトレーニング戦略を用いて、ニューラルマシン翻訳(NMT)モデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-09-23T08:25:37Z)
• Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
  Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
  論文  参考訳（メタデータ） (2022-12-17T08:34:20Z)
• Data Selection Curriculum for Neural Machine Translation [31.55953464971441]
  NMTモデルのための2段階のカリキュラムトレーニングフレームワークを提案する。 我々は、事前学習法とオンラインスコアを用いた決定論的スコアリングの両方によって選択されたデータのサブセットに基づいてベースNMTモデルを微調整する。 我々のカリキュラム戦略は、常により良い品質(+2.2BLEUの改善)とより高速な収束を示すことを示した。
  論文  参考訳（メタデータ） (2022-03-25T19:08:30Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Alternated Training with Synthetic and Authentic Data for Neural Machine Translation [49.35605028467887]
  ニューラルマシン翻訳(NMT)のための合成および認証データを用いた交互トレーニングを提案する。 従来の研究と比較して,ノイズの多い合成データによってNMTモデルのトレーニングが妨げられるのを防止するためのガイダンスとして,認証データを導入している。 中国語・ドイツ語・英語の翻訳タスクの実験は、我々のアプローチがいくつかの強いベースラインにまたがって性能を向上させることを示している。
  論文  参考訳（メタデータ） (2021-06-16T07:13:16Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。