論文の概要: Modelling Latent Translations for Cross-Lingual Transfer
- arxiv url: http://arxiv.org/abs/2107.11353v1
- Date: Fri, 23 Jul 2021 17:11:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-26 13:57:00.220728
- Title: Modelling Latent Translations for Cross-Lingual Transfer
- Title（参考訳）: 言語間伝達のための潜在翻訳のモデル化
- Authors: Edoardo Maria Ponti, Julia Kreutzer, Ivan Vuli\'c, and Siva Reddy
- Abstract要約: 従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合する新しい手法を提案する。
我々は,多言語NLUタスクにおける新しい潜時翻訳モデルの評価を行った。
ゼロショットと数ショットの学習設定の両方で、平均2.7の精度ポイントのゲインを報告します。
- 参考スコア（独自算出の注目度）: 47.61502999819699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While achieving state-of-the-art results in multiple tasks and languages,
translation-based cross-lingual transfer is often overlooked in favour of
massively multilingual pre-trained encoders. Arguably, this is due to its main
limitations: 1) translation errors percolating to the classification phase and
2) the insufficient expressiveness of the maximum-likelihood translation. To
remedy this, we propose a new technique that integrates both steps of the
traditional pipeline (translation and classification) into a single model, by
treating the intermediate translations as a latent random variable. As a
result, 1) the neural machine translation system can be fine-tuned with a
variant of Minimum Risk Training where the reward is the accuracy of the
downstream task classifier. Moreover, 2) multiple samples can be drawn to
approximate the expected loss across all possible translations during
inference. We evaluate our novel latent translation-based model on a series of
multilingual NLU tasks, including commonsense reasoning, paraphrase
identification, and natural language inference. We report gains for both
zero-shot and few-shot learning setups, up to 2.7 accuracy points on average,
which are even more prominent for low-resource languages (e.g., Haitian
Creole). Finally, we carry out in-depth analyses comparing different underlying
NMT models and assessing the impact of alternative translations on the
downstream performance.
- Abstract（参考訳）: 最先端の成果が複数のタスクや言語にもたらされる一方で、翻訳ベースの言語間転送はしばしば見過ごされ、多言語で事前学習されたエンコーダが好まれる。
主な制限は、1) 分類段階に該当する翻訳誤り、2) 最大形翻訳の表現力の不足である。
そこで本研究では,従来のパイプラインの2つのステップ(翻訳と分類)を1つのモデルに統合し,中間翻訳を潜在確率変数として扱う手法を提案する。
その結果、1)ニューラルネットワーク翻訳システムは、ダウンストリームタスク分類器の精度が報酬となる最小リスクトレーニングの変種で微調整することができる。
さらに、複数のサンプルを描画して、推論中のすべての可能な翻訳における期待損失を近似することができる。
我々は,多言語NLUタスクに対する新しい潜時翻訳モデルの評価を行い,コモンセンス推論,パラフレーズ同定,自然言語推論を行った。
ゼロショット学習と少数ショット学習の両方において,平均で2.7点の精度向上が報告されており,低リソース言語(例えばハイチのクレオール)ではさらに顕著である。
最後に、異なるNMTモデルの比較と、下流の性能に対する代替翻訳の影響を詳細に分析する。
関連論文リスト
- Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。
そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-09T04:52:31Z) - Revisiting Machine Translation for Cross-lingual Classification [91.43729067874503]
この分野のほとんどの研究は、機械翻訳コンポーネントではなく多言語モデルに焦点を当てている。
より強力なMTシステムを用いて、原文のトレーニングと機械翻訳テキストの推論のミスマッチを緩和することにより、翻訳テストは以前想定していたよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-05-23T16:56:10Z) - Improving Multilingual Translation by Representation and Gradient
Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。
提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文 参考訳（メタデータ） (2021-09-10T10:52:21Z) - Rethinking Zero-shot Neural Machine Translation: From a Perspective of
Latent Variables [28.101782382170306]
従来の訓練対象にピボット言語に基づく自動エンコーダ目標を導入し,ゼロショット方向の翻訳精度を向上させる。
提案手法は, 突発的相関を効果的に排除し, 顕著な性能で最先端の手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-10T07:18:53Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳（メタデータ） (2021-09-09T03:48:35Z) - Verdi: Quality Estimation and Error Detection for Bilingual [23.485380293716272]
Verdiはバイリンガルコーパスのための単語レベルおよび文レベルの後編集作業推定のための新しいフレームワークである。
バイリンガルコーパスの対称性を活用し,NMT予測器にモデルレベル二重学習を適用した。
我々の手法は競争の勝者を圧倒し、他の基準法よりも大きなマージンで上回る。
論文 参考訳（メタデータ） (2021-05-31T11:04:13Z) - Detecting Fine-Grained Cross-Lingual Semantic Divergences without
Supervision by Learning to Rank [28.910206570036593]
この研究は、細粒度のセマンティックな違いの予測とアノテーションを改善する。
本稿では,多言語BERTモデルの学習方法として,様々な粒度の合成発散例をランク付けする手法を提案する。
ランク付けの学習は、強い文レベルの類似性モデルよりも正確に、きめ細かい文レベルの発散を検出するのに役立つ。
論文 参考訳（メタデータ） (2020-10-07T21:26:20Z) - Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。
自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。
また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文 参考訳（メタデータ） (2020-04-09T17:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。