論文の概要: Language Tokens: A Frustratingly Simple Approach Improves Zero-Shot Performance of Multilingual Translation

• arxiv url: http://arxiv.org/abs/2208.05852v1
• Date: Thu, 11 Aug 2022 14:42:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-12 12:56:56.711557
• Title: Language Tokens: A Frustratingly Simple Approach Improves Zero-Shot Performance of Multilingual Translation
• Title（参考訳）: 言語トークン:多言語翻訳のゼロショット性能を改善するフラストレーションに単純なアプローチ
• Authors: Muhammad ElNokrashy (1), Amr Hendy (1), Mohamed Maher (1), Mohamed Afify (1), Hany Hassan Awadalla (2) ((1) Microsoft ATL Cairo, (2) Microsoft Redmond)
• Abstract要約: 我々は、エンコーダとデコーダの両方で入力トークンを変更し、ソースおよびターゲット言語用の信号を含める。 我々は、スクラッチからトレーニングを行う場合や、提案した設定で事前訓練されたモデルを微調整する場合のパフォーマンス向上を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper proposes a simple yet effective method to improve direct (X-to-Y) translation for both cases: zero-shot and when direct data is available. We modify the input tokens at both the encoder and decoder to include signals for the source and target languages. We show a performance gain when training from scratch, or finetuning a pretrained model with the proposed setup. In the experiments, our method shows nearly 10.0 BLEU points gain on in-house datasets depending on the checkpoint selection criteria. In a WMT evaluation campaign, From-English performance improves by 4.17 and 2.87 BLEU points, in the zero-shot setting, and when direct data is available for training, respectively. While X-to-Y improves by 1.29 BLEU over the zero-shot baseline, and 0.44 over the many-to-many baseline. In the low-resource setting, we see a 1.5~1.7 point improvement when finetuning on X-to-Y domain data.
• Abstract（参考訳）: 本稿では,ゼロショットと直接データが利用可能である場合に,直接(X-to-Y)翻訳を改善する方法を提案する。 我々は、エンコーダとデコーダの両方で入力トークンを変更し、ソースおよびターゲット言語用の信号を含める。 スクラッチからトレーニングする場合や、トレーニング済みのモデルを提案された設定で微調整した場合のパフォーマンス向上を示す。 実験では, チェックポイント選択基準に応じて, 10.0 BLEU 点が社内データセット上で得られることを示す。 WMT評価キャンペーンでは、ゼロショット設定では、イングリッシュのパフォーマンスが4.17と2.87のBLEUポイント向上し、トレーニング用にダイレクトデータが利用できる。 x-to-yはゼロショットベースラインで1.29 bleu、多対多ベースラインで0.44 bleu向上する。 低リソース環境では、X-to-Yドメインデータを微調整すると1.5～1.7ポイント改善される。

関連論文リスト

• sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting [29.63634707674839]
  本稿では,多言語合成指導調律データセット sPhinX を作成するための新しいレシピを提案する。 sPhinXは、命令応答対を英語から50言語に選択的に翻訳することで生成される。 本研究では,2つの最先端モデルであるMistral-7BとPhi-Smallを微調整するためにsPhinxの有効性を検証した。
  論文  参考訳（メタデータ） (2024-07-13T13:03:45Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
  本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。 本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
  論文  参考訳（メタデータ） (2023-05-31T21:58:07Z)
• Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models [95.32691891392903]
  本稿では,プロンプトチューニングを用いた様々なNLUタスクの言語間評価を行い,それを微調整と比較する。 その結果, アクシデントチューニングは, データセット間の微調整よりもはるかに優れた言語間移動を実現することがわかった。
  論文  参考訳（メタデータ） (2022-10-22T05:48:02Z)
• Adapting to Non-Centered Languages for Zero-shot Multilingual Translation [12.487990897680422]
  我々は,非中心言語に適応して,シンプルで軽量で効果的な言語特化モデリング手法を提案する。 IWSLT17, Europarl, TED Talk, OPUS-100 データセットの Transformer を用いた実験により, 本手法が非中心データ条件に容易に適合できることが判明した。
  論文  参考訳（メタデータ） (2022-09-09T06:34:12Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Self-Learning for Zero Shot Neural Machine Translation [13.551731309506874]
  本研究は、並列データを共有するピボット言語を仮定せずに学習するゼロショットNMTモデリング手法を提案する。 教師なしNMTと比較して、ドメインミスマッチ設定でも一貫した改善が観察される。
  論文  参考訳（メタデータ） (2021-03-10T09:15:19Z)
• Multilingual Speech Translation with Efficient Finetuning of Pretrained Models [82.22294901727933]
  最小限のLNA(LayerNorm and Attention)ファインタニングは、ゼロショットのクロスリンガルおよびクロスモーダリティ転送能力を実現することができる。 本手法は多言語多言語モデルにおいて強いゼロショット性能を示す。
  論文  参考訳（メタデータ） (2020-10-24T08:15:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。