論文の概要: End-to-end Training and Decoding for Pivot-based Cascaded Translation
Model
- arxiv url: http://arxiv.org/abs/2305.02261v1
- Date: Wed, 3 May 2023 16:48:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 13:58:23.187374
- Title: End-to-end Training and Decoding for Pivot-based Cascaded Translation
Model
- Title（参考訳）: Pivot-based Cascaded Translation Modelのエンドツーエンド学習と復号化
- Authors: Hao Cheng, Meng Zhang, Liangyou Li, Qun Liu and Zhihua Zhang
- Abstract要約: 本稿では,ケースケード翻訳モデルのエンドツーエンド学習手法を提案する。
我々は、ピボットデコーディングにおいてビームサーチを用いてトークンと確率分布の不整合を緩和する。
- 参考スコア（独自算出の注目度）: 40.41344631506705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Utilizing pivot language effectively can significantly improve low-resource
machine translation. Usually, the two translation models, source-pivot and
pivot-target, are trained individually and do not utilize the limited (source,
target) parallel data. This work proposes an end-to-end training method for the
cascaded translation model and configures an improved decoding algorithm. The
input of the pivot-target model is modified to weighted pivot embedding based
on the probability distribution output by the source-pivot model. This allows
the model to be trained end-to-end. In addition, we mitigate the inconsistency
between tokens and probability distributions while using beam search in pivot
decoding. Experiments demonstrate that our method enhances the quality of
translation.
- Abstract（参考訳）: pivot言語を効果的に利用すれば、低リソース機械翻訳を大幅に改善できる。
通常、2つの翻訳モデル(source-pivot と pivot-target)は個別に訓練され、限られた(ソース、ターゲット)並列データを使用しない。
本研究は、ケースケード翻訳モデルのエンドツーエンドトレーニング手法を提案し、改良された復号アルゴリズムを構成する。
ピボットモデルの入力は、ソースピボットモデルによって出力される確率分布に基づいて重み付けされたピボット埋め込みに修正される。
これにより、モデルをエンドツーエンドでトレーニングすることができる。
さらに,ピボット復号におけるビーム探索を用いてトークンと確率分布の不整合を緩和する。
実験により,本手法が翻訳の質を高めることを示す。
関連論文リスト
- Online Speculative Decoding [34.987825705622555]
大規模言語モデルの推論を高速化するオンライン投機的復号法を導入する。
主なアイデアは、観測されたユーザクエリデータに対する(複数)ドラフトモデルを継続的に更新することである。
本稿では,知識蒸留に基づくオンライン投機的デコーディングのプロトタイプを開発し,合成データと実データの両方を用いて評価する。
論文 参考訳（メタデータ） (2023-10-11T04:03:42Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳（メタデータ） (2023-02-26T16:32:52Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2022-05-23T08:20:41Z) - Triangular Transfer: Freezing the Pivot for Triangular Machine
Translation [30.655004159965923]
三角形機械翻訳は、言語対が限られた並列データを持つ場合である。
三角機械翻訳の鍵は、そのような補助データの活用が成功することである。
本稿では,あらゆる種類の補助データを利用するトランスファーラーニングに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2022-03-17T02:00:40Z) - Towards Reinforcement Learning for Pivot-based Neural Machine
Translation with Non-autoregressive Transformer [49.897891031932545]
Pivot-based Neural Machine Translation (NMT) は、低リソースのセットアップで一般的に使用される。
我々は、ソースターゲットデータのトレーニングを可能にするエンドツーエンドのピボットベース統合モデルを提案する。
論文 参考訳（メタデータ） (2021-09-27T14:49:35Z) - Rethinking Zero-shot Neural Machine Translation: From a Perspective of
Latent Variables [28.101782382170306]
従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。
提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-10T07:18:53Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳（メタデータ） (2021-09-09T03:48:35Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。