論文の概要: Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings

• arxiv url: http://arxiv.org/abs/2210.15851v1
• Date: Fri, 28 Oct 2022 02:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 15:56:49.101951
• Title: Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings
• Title（参考訳）: ユニバーサル表現とクロスマッピングによるゼロショット多言語翻訳の改善
• Authors: Shuhao Gu, Yang Feng
• Abstract要約: 改良されたゼロショット翻訳では、普遍的な表現と横断的な関係を学習する必要がある。 エンコーダによって出力される表現の差をモデル化するための最適理論に基づく状態距離を提案する。 本稿では,モデルが一貫した予測を行うのに役立つ合意に基づくトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 23.910477693942905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The many-to-many multilingual neural machine translation can translate between language pairs unseen during training, i.e., zero-shot translation. Improving zero-shot translation requires the model to learn universal representations and cross-mapping relationships to transfer the knowledge learned on the supervised directions to the zero-shot directions. In this work, we propose the state mover's distance based on the optimal theory to model the difference of the representations output by the encoder. Then, we bridge the gap between the semantic-equivalent representations of different languages at the token level by minimizing the proposed distance to learn universal representations. Besides, we propose an agreement-based training scheme, which can help the model make consistent predictions based on the semantic-equivalent sentences to learn universal cross-mapping relationships for all translation directions. The experimental results on diverse multilingual datasets show that our method can improve consistently compared with the baseline system and other contrast methods. The analysis proves that our method can better align the semantic space and improve the prediction consistency.
• Abstract（参考訳）: 多言語多言語ニューラルマシン翻訳は、訓練中に見えない言語対、すなわちゼロショット翻訳を翻訳することができる。 ゼロショット翻訳を改善するには、モデルが普遍表現とクロスマップ関係を学習し、教師あり方向から学習した知識をゼロショット方向に移行する必要がある。 本研究では,エンコーダによって出力される表現の差をモデル化するための最適理論に基づく状態移動子の距離を提案する。 次に,提案する距離を最小化して普遍表現を学ぶことにより,異なる言語の意味等価表現間のギャップをトークンレベルで橋渡しする。 また,すべての翻訳方向の共通クロスマップ関係を学習するために,意味同値文に基づく一貫した予測を行うための合意に基づく学習手法を提案する。 多言語多言語データセットを用いた実験の結果,本手法はベースラインシステムや他のコントラスト法と比較して,一貫して改善できることがわかった。 分析の結果,提案手法は意味空間の調整や予測一貫性の向上が期待できることがわかった。

関連論文リスト

• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization [46.09132547431629]
  多言語ニューラルマシン翻訳(NMT)モデルは、ゼロショット翻訳の有望な能力を有する。 本稿では,異なる言語間の表現ギャップを埋めるために,言語間整合性正規化(CrossConST)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T08:32:18Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation [48.32604585839687]
  従来の敵対的アプローチは、並列データ無しに言語間単語埋め込みを誘導する有望な結果を示している。 そこで本研究では,滑らかなブリッジングのための中間空間列を提案する。
  論文  参考訳（メタデータ） (2022-10-07T04:37:47Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables [28.101782382170306]
  従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。 提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-10T07:18:53Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Fine-Grained Analysis of Cross-Linguistic Syntactic Divergences [18.19093600136057]
  並列コーパスから任意の言語対の発散パターンを抽出するフレームワークを提案する。 我々のフレームワークは、言語間の相違の詳細な図を提供し、以前のアプローチを一般化し、完全に自動化することを示します。
  論文  参考訳（メタデータ） (2020-05-07T13:05:03Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。