論文の概要: Understanding and Mitigating the Uncertainty in Zero-Shot Translation
- arxiv url: http://arxiv.org/abs/2205.10068v1
- Date: Fri, 20 May 2022 10:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 12:45:49.688571
- Title: Understanding and Mitigating the Uncertainty in Zero-Shot Translation
- Title（参考訳）: ゼロショット翻訳における不確かさの理解と緩和
- Authors: Wenxuan Wang, Wenxiang Jiao, Shuo Wang, Zhaopeng Tu, Michael R. Lyu
- Abstract要約: ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
翻訳出力とモデル信頼度を慎重に調べることで、ターゲット外問題の原因となる2つの不確実性を特定する。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための2つの軽量かつ補完的なアプローチを提案し,推論におけるオフターゲット言語の語彙を隠蔽する。
- 参考スコア（独自算出の注目度）: 66.49354195238789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot translation is a promising direction for building a comprehensive
multilingual neural machine translation (MNMT) system. However, its quality is
still not satisfactory due to off-target issues. In this paper, we aim to
understand and alleviate the off-target issues from the perspective of
uncertainty in zero-shot translation. By carefully examining the translation
output and model confidence, we identify two uncertainties that are responsible
for the off-target issues, namely, extrinsic data uncertainty and intrinsic
model uncertainty. Based on the observations, we propose two light-weight and
complementary approaches to denoise the training data for model training, and
mask out the vocabulary of the off-target languages in inference. Extensive
experiments on both balanced and unbalanced datasets show that our approaches
significantly improve the performance of zero-shot translation over strong MNMT
baselines. Qualitative analyses provide insights into where our approaches
reduce off-target translations
- Abstract（参考訳）: ゼロショット翻訳は、包括的多言語ニューラルマシン翻訳(mnmt)システムを構築するための有望な方向である。
しかし、目標外の問題のため、品質は未だ満足できない。
本稿では,ゼロショット翻訳の不確実性の観点から,対象外問題を理解し,緩和することを目的とする。
翻訳結果とモデルの信頼度を慎重に検討することにより,目標外の問題,すなわち外的データ不確実性と内在的モデル不確実性に責任を持つ2つの不確実性を特定する。
そこで本研究では,モデル学習のためのトレーニングデータを軽度かつ補完的に2つの手法を提案し,対象外言語の語彙を推論で隠蔽する。
バランスの取れたデータセットとアンバランスなデータセットの両方に対する大規模な実験により、我々のアプローチは強力なMNMTベースラインよりもゼロショット翻訳の性能を著しく向上させた。
定性的分析は、我々のアプローチがターゲット外の翻訳を減らす方法に関する洞察を提供する
関連論文リスト
- Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。
我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。
本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
論文 参考訳（メタデータ） (2024-05-29T09:25:49Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - Rethinking Zero-shot Neural Machine Translation: From a Perspective of
Latent Variables [28.101782382170306]
従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。
提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-10T07:18:53Z) - Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
論文 参考訳（メタデータ） (2021-07-23T17:11:27Z) - On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。
実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。
本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-07T01:55:34Z) - Uncertainty-Aware Semantic Augmentation for Neural Machine Translation [37.555675157198145]
本稿では,複数の意味的に等価なソース文間の普遍的な意味情報を明示的にキャプチャする不確実性を考慮した意味拡張を提案する。
我々のアプローチは、強いベースラインと既存の手法を大きく上回る。
論文 参考訳（メタデータ） (2020-10-09T07:48:09Z) - On the Inference Calibration of Neural Machine Translation [54.48932804996506]
校正と翻訳性能と誤校正の言語特性の相関について検討した。
そこで本研究では,推論キャリブレーションと翻訳性能を両立できる新しいラベル平滑化手法を提案する。
論文 参考訳（メタデータ） (2020-05-03T02:03:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。