論文の概要: Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models

• arxiv url: http://arxiv.org/abs/2401.05861v1
• Date: Thu, 11 Jan 2024 12:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 15:02:44.629219
• Title: Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models
• Title（参考訳）: 大規模言語モデルによる多対多多言語機械翻訳の促進に向けて
• Authors: Pengzhi Gao, Zhongjun He, Hua Wu, Haifeng Wang
• Abstract要約: 本稿では,多言語大言語モデル(LLM)の多言語多言語翻訳性能の向上に焦点をあてる。 言語間整合性正規化(XConST)を導入し、異なる言語間の表現ギャップを埋め、ゼロショット変換性能を向上させる。
• 参考スコア（独自算出の注目度）: 47.39529535727593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The training paradigm for machine translation has gradually shifted, from learning neural machine translation (NMT) models with extensive parallel corpora to instruction finetuning on pretrained multilingual large language models (LLMs) with high-quality translation pairs. In this paper, we focus on boosting the many-to-many multilingual translation performance of LLMs with an emphasis on zero-shot translation directions. We demonstrate that prompt strategies adopted during instruction finetuning are crucial to zero-shot translation performance and introduce a cross-lingual consistency regularization, XConST, to bridge the representation gap among different languages and improve zero-shot translation performance. XConST is not a new method, but a version of CrossConST (Gao et al., 2023a) adapted for multilingual finetuning on LLMs with translation instructions. Experimental results on ALMA (Xu et al., 2023) and LLaMA-2 (Touvron et al., 2023) show that our approach consistently improves translation performance. Our implementations are available at https://github.com/gpengzhi/CrossConST-LLM.
• Abstract（参考訳）: 機械翻訳の訓練パラダイムは、広範囲な並列コーパスを用いたニューラルマシン翻訳(nmt)モデルから、高品質翻訳ペアを備えた事前学習された多言語大言語モデル(llm)の指導微調整へと徐々にシフトしている。 本稿では,LLMの多言語多言語翻訳性能の向上に焦点をあて,ゼロショット翻訳の方向性を重視した。 提案手法は,ゼロショット翻訳性能に必須であり,異なる言語間の表現ギャップを橋渡しし,ゼロショット翻訳性能を向上させるために,クロスリンガル一貫性規則化 (xconst) を導入する。 XConSTは新しい手法ではなく、翻訳命令でLLMの多言語微調整に適応したCrossConST(Gao et al., 2023a)のバージョンである。 ALMA (Xu et al., 2023) と LLaMA-2 (Touvron et al., 2023) の実験結果から, 本手法は翻訳性能を一貫して改善することが示された。 実装はhttps://github.com/gpengzhi/CrossConST-LLMで公開しています。

関連論文リスト

• How Multilingual Are Large Language Models Fine-Tuned for Translation? [13.612090779277281]
  並列テキスト上での微調整大型言語モデル(LLM)は、大量の並列データに対して教師あり方式で訓練された専用翻訳システムより優れていることが示されている。 翻訳の微調整は、ゼロショット言語、ゼロショット言語ペア、英語を含まない翻訳タスクのLLMのMT機能にどのように影響しますか? 翻訳の微調整により、ゼロショット言語でも平均で翻訳品質が向上するが、関連する言語ペアによる影響は不均一である。
  論文  参考訳（メタデータ） (2024-05-30T22:08:20Z)
• A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.777372498182864]
  生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-20T22:53:15Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization [46.09132547431629]
  220以上の言語をサポートする一対一の多言語文表現モデル MuSR を紹介する。 我々は、多言語NMTフレームワークを採用することで、補助的なTransformerデコーダと組み合わせた多言語トランスフォーマーエンコーダを訓練する。 多言語類似検索とbitextマイニングタスクの実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-06-12T07:39:06Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)
• Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization [46.09132547431629]
  多言語ニューラルマシン翻訳(NMT)モデルは、ゼロショット翻訳の有望な能力を有する。 本稿では,異なる言語間の表現ギャップを埋めるために,言語間整合性正規化(CrossConST)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T08:32:18Z)
• XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders [89.0059978016914]
  そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。 この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2020-12-31T11:16:51Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。