論文の概要: Language Tags Matter for Zero-Shot Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2106.07930v1
• Date: Tue, 15 Jun 2021 07:32:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 15:17:34.665918
• Title: Language Tags Matter for Zero-Shot Neural Machine Translation
• Title（参考訳）: ゼロショットニューラルマシン翻訳のための言語タグ
• Authors: Liwei Wu, Shanbo Cheng, Mingxuan Wang, Lei Li
• Abstract要約: 言語タグ(LT)戦略は、MNMTの翻訳方向を示すためにしばしば採用される。 我々は,LTが翻訳方向の指標であるだけでなく,ゼロショット翻訳の品質にも重要であることを実証した。 実験の結果、ソース言語タグ(SLT)を無視して、ターゲット言語タグ(TLT)をエンコーダに追加することで、ゼロショット翻訳は+8BLEUスコア差が得られることがわかった。
• 参考スコア（独自算出の注目度）: 17.353423698436547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual Neural Machine Translation (MNMT) has aroused widespread interest due to its efficiency. An exciting advantage of MNMT models is that they could also translate between unsupervised (zero-shot) language directions. Language tag (LT) strategies are often adopted to indicate the translation directions in MNMT. In this paper, we demonstrate that the LTs are not only indicators for translation directions but also crucial to zero-shot translation qualities. Unfortunately, previous work tends to ignore the importance of LT strategies. We demonstrate that a proper LT strategy could enhance the consistency of semantic representations and alleviate the off-target issue in zero-shot directions. Experimental results show that by ignoring the source language tag (SLT) and adding the target language tag (TLT) to the encoder, the zero-shot translations could achieve a +8 BLEU score difference over other LT strategies in IWSLT17, Europarl, TED talks translation tasks.
• Abstract（参考訳）: MNMT(Multilingual Neural Machine Translation)はその効率性から広く関心を集めている。 MNMTモデルのエキサイティングな利点は、教師なし(ゼロショット)言語の方向を翻訳できる点である。 言語タグ(LT)戦略は、MNMTの翻訳方向を示すためにしばしば採用される。 本稿では,LTが翻訳方向の指標であるだけでなく,ゼロショット翻訳の品質にも重要であることを示す。 残念ながら、以前の研究はLT戦略の重要性を無視する傾向にある。 我々は、適切なLT戦略が意味表現の一貫性を高め、ゼロショット方向のターゲット外問題を軽減することを実証した。 実験結果から,ソース言語タグ(SLT)を無視し,対象言語タグ(TLT)をエンコーダに追加することにより,IWSLT17,Europarl,TEDトーク翻訳タスクの他のLT戦略に比べて,ゼロショット翻訳が+8BLEUスコア差を達成できることが示唆された。

関連論文リスト

• LCS: A Language Converter Strategy for Zero-Shot Neural Machine Translation [84.38105530043741]
  我々は,Language Converter Strategy (LCS) という,シンプルだが効果的な戦略を提案する。 ターゲット言語をトップエンコーダ層に埋め込むことで、LCSはエンコーダの混乱を緩和し、デコーダの安定した言語表示を保証する。 MultiUN、TED、OPUS-100データセットの実験結果は、LCSがターゲット外の問題を著しく軽減できることを示している。
  論文  参考訳（メタデータ） (2024-06-05T02:52:17Z)
• Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice? [33.376648335299116]
  大きな言語モデル(LLM)は、32のパラレル文で微調整された後、強い翻訳能力を示す。 英語のみを対象とするLLMは、非英語への翻訳を妨げるタスクの誤解釈につながる可能性がある。 未表現言語で合成されたデータは、顕著な効果が低い。
  論文  参考訳（メタデータ） (2024-04-22T12:21:12Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。