論文の概要: Towards a Better Understanding of Variations in Zero-Shot Neural Machine
Translation Performance
- arxiv url: http://arxiv.org/abs/2310.10385v1
- Date: Mon, 16 Oct 2023 13:26:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 14:16:41.181812
- Title: Towards a Better Understanding of Variations in Zero-Shot Neural Machine
Translation Performance
- Title(参考訳): ゼロショットニューラルマシン翻訳性能の変動のより良い理解に向けて
- Authors: Shaomu Tan, Christof Monz
- Abstract要約: ニューラルネットワーク翻訳(MNMT)は知識共有を容易にするが、ゼロショット(ZS)翻訳の質が悪い場合が多い。
本研究は,ZS性能に高い変動が存在するという,新たな視点を紹介する。
ZS NMTの性能の変動に寄与する3つの要因を同定した。
- 参考スコア(独自算出の注目度): 5.373752180709172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual Neural Machine Translation (MNMT) facilitates knowledge sharing
but often suffers from poor zero-shot (ZS) translation qualities. While prior
work has explored the causes of overall low ZS performance, our work introduces
a fresh perspective: the presence of high variations in ZS performance. This
suggests that MNMT does not uniformly exhibit poor ZS capability; instead,
certain translation directions yield reasonable results. Through systematic
experimentation involving 1,560 language directions spanning 40 languages, we
identify three key factors contributing to high variations in ZS NMT
performance: 1) target side translation capability 2) vocabulary overlap 3)
linguistic properties. Our findings highlight that the target side translation
quality is the most influential factor, with vocabulary overlap consistently
impacting ZS performance. Additionally, linguistic properties, such as language
family and writing system, play a role, particularly with smaller models.
Furthermore, we suggest that the off-target issue is a symptom of inadequate ZS
performance, emphasizing that zero-shot translation challenges extend beyond
addressing the off-target problem. We release the data and models serving as a
benchmark to study zero-shot for future research at
https://github.com/Smu-Tan/ZS-NMT-Variations
- Abstract(参考訳): MNMT(Multilingual Neural Machine Translation)は知識共有を容易にするが、ゼロショット(ZS)翻訳の質が悪い場合が多い。
従来,ZS性能の低下の原因について検討してきたが,本研究では新たな視点として,ZS性能に高い変動が存在することを挙げている。
これは、MNMTがZS能力の低下を均一に示さず、ある翻訳方向が妥当な結果をもたらすことを示唆している。
40言語にまたがる1,560の言語方向を含む系統的な実験を通して、ZS NMTの性能の変動に寄与する3つの重要な要因を同定する。
1)目標側翻訳能力
2)語彙重複
3)言語特性。
以上の結果から,対象の翻訳品質が最も大きな要因であり,語彙の重なりがzs性能に与える影響が示唆された。
さらに、言語家族や書記システムといった言語特性は、特により小さなモデルでの役割を担っている。
さらに,オフターゲット問題はZS性能の低下の徴候であり,ゼロショット翻訳の課題がオフターゲット問題の解決を超えて拡大していることを強調している。
将来の研究のためのベンチマークとして、https://github.com/Smu-Tan/ZS-NMT-Variationsでデータとモデルを公開します。
関連論文リスト
- Dissecting In-Context Learning of Translations in GPTs [27.80057758158391]
ソース側の摂動は驚くほど影響を受けず、ターゲットの摂動は翻訳品質を大幅に低下させる可能性がある。
我々はZero-Shot-Contextという手法を提案し、Zero-Shotプロンプトに自動的にこの信号を追加する。
GPT-3のゼロショット翻訳性能は向上し,少数ショット翻訳と競合することを示した。
論文 参考訳(メタデータ) (2023-10-24T16:37:18Z) - Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot
Translation [79.96416609433724]
Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。
推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。
近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
論文 参考訳(メタデータ) (2023-09-28T17:02:36Z) - On the Off-Target Problem of Zero-Shot Multilingual Neural Machine
Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。
多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。
我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文 参考訳(メタデータ) (2023-05-18T12:43:31Z) - Understanding and Mitigating the Uncertainty in Zero-Shot Translation [92.25357943169601]
ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための,軽量かつ補完的な2つのアプローチを提案する。
提案手法は,強いMNMTベースライン上でのゼロショット翻訳の性能を著しく向上させる。
論文 参考訳(メタデータ) (2022-05-20T10:29:46Z) - Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。
多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
論文 参考訳(メタデータ) (2022-02-15T18:22:18Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳(メタデータ) (2021-09-10T10:52:21Z) - Rethinking Zero-shot Neural Machine Translation: From a Perspective of
Latent Variables [28.101782382170306]
従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。
提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-10T07:18:53Z) - Improving Zero-Shot Translation by Disentangling Positional Information [24.02434897109097]
言語固有の表現を引き起こす主な要因は、入力トークンに対する位置対応であることを示す。
指示方向の品質を維持しながら、ゼロショット翻訳で最大18.5 BLEUポイントを得る。
論文 参考訳(メタデータ) (2020-12-30T12:20:41Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳(メタデータ) (2020-04-24T17:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。