論文の概要: Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization

• arxiv url: http://arxiv.org/abs/2305.07310v1
• Date: Fri, 12 May 2023 08:32:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 13:49:06.958792
• Title: Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
• Title（参考訳）: 言語間整合規則化の活用によるゼロショット多言語ニューラルマシン翻訳の改善
• Authors: Pengzhi Gao, Liwen Zhang, Zhongjun He, Hua Wu, Haifeng Wang
• Abstract要約: 多言語ニューラルマシン翻訳(NMT)モデルは、ゼロショット翻訳の有望な能力を有する。 本稿では,異なる言語間の表現ギャップを埋めるために,言語間整合性正規化(CrossConST)を提案する。
• 参考スコア（独自算出の注目度）: 46.09132547431629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The multilingual neural machine translation (NMT) model has a promising capability of zero-shot translation, where it could directly translate between language pairs unseen during training. For good transfer performance from supervised directions to zero-shot directions, the multilingual NMT model is expected to learn universal representations across different languages. This paper introduces a cross-lingual consistency regularization, CrossConST, to bridge the representation gap among different languages and boost zero-shot translation performance. The theoretical analysis shows that CrossConST implicitly maximizes the probability distribution for zero-shot translation, and the experimental results on both low-resource and high-resource benchmarks show that CrossConST consistently improves the translation performance. The experimental analysis also proves that CrossConST could close the sentence representation gap and better align the representation space. Given the universality and simplicity of CrossConST, we believe it can serve as a strong baseline for future multilingual NMT research.
• Abstract（参考訳）: マルチリンガルニューラルネットワーク翻訳(NMT)モデルはゼロショット翻訳の有望な能力を持ち、トレーニング中に見つからない言語ペア間で直接翻訳することができる。 教師付き方向からゼロショット方向への良好な転送性能を得るために、多言語NMTモデルは異なる言語間の普遍表現を学習することが期待される。 本稿では,言語間一貫性の規則化であるCrossConSTを導入し,異なる言語間の表現ギャップを埋め,ゼロショット翻訳性能を向上する。 理論解析の結果,クロスコンストはゼロショット翻訳の確率分布を暗黙的に最大化し,低リソースベンチマークと高リソースベンチマークの両方で実験結果から,クロスコンストの翻訳性能が一貫して向上することが示された。 実験分析により、CrossConSTは文表現ギャップを閉じ、表現空間をより良く整合させることができることが示された。 CrossConSTの普遍性と単純性を考えると、将来の多言語NMT研究の強力なベースラインとなると信じている。

関連論文リスト

• Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models [47.39529535727593]
  本稿では,大言語モデル(LLM)の多言語多言語翻訳の高速化に焦点をあて,ゼロショット翻訳の方向を重視した。 言語間整合性規則化(XConST)を導入し、異なる言語間の表現ギャップを埋める。 ALMA, Tower, LLaMA-2による実験結果から, 本手法は翻訳性能を継続的に向上することが示された。
  論文  参考訳（メタデータ） (2024-01-11T12:11:30Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings [23.910477693942905]
  改良されたゼロショット翻訳では、普遍的な表現と横断的な関係を学習する必要がある。 エンコーダによって出力される表現の差をモデル化するための最適理論に基づく状態距離を提案する。 本稿では,モデルが一貫した予測を行うのに役立つ合意に基づくトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-28T02:47:05Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables [28.101782382170306]
  従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。 提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-10T07:18:53Z)
• Modelling Latent Translations for Cross-Lingual Transfer [47.61502999819699]
  従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。 我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。 ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
  論文  参考訳（メタデータ） (2021-07-23T17:11:27Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。