論文の概要: IKUN for WMT24 General MT Task: LLMs Are here for Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2408.11512v1
• Date: Wed, 21 Aug 2024 10:44:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 17:27:26.616133
• Title: IKUN for WMT24 General MT Task: LLMs Are here for Multilingual Machine Translation
• Title（参考訳）: IKUN for WMT24 General MT Task: LLMs for Multilingual Machine Translation (英語)
• Authors: Baohao Liao, Christian Herold, Shahram Khadivi, Christof Monz,
• Abstract要約: 本稿では,WMT24における汎用機械翻訳タスクのために開発された2つの多言語システム,IKUNとIKUN-Cを紹介する。 IKUNとIKUN-Cは、それぞれLlama-3-8bとMistral-7B-v0.3上に構築されたオープンシステムと制約されたシステムを表している。 どちらのシステムも、単一のモデルを使用して11の言語方向を処理するように設計されている。
• 参考スコア（独自算出の注目度）: 12.328293460903911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces two multilingual systems, IKUN and IKUN-C, developed for the general machine translation task in WMT24. IKUN and IKUN-C represent an open system and a constrained system, respectively, built on Llama-3-8b and Mistral-7B-v0.3. Both systems are designed to handle all 11 language directions using a single model. According to automatic evaluation metrics, IKUN-C achieved 6 first-place and 3 second-place finishes among all constrained systems, while IKUN secured 1 first-place and 2 second-place finishes across both open and constrained systems. These encouraging results suggest that large language models (LLMs) are nearing the level of proficiency required for effective multilingual machine translation. The systems are based on a two-stage approach: first, continuous pre-training on monolingual data in 10 languages, followed by fine-tuning on high-quality parallel data for 11 language directions. The primary difference between IKUN and IKUN-C lies in their monolingual pre-training strategy. IKUN-C is pre-trained using constrained monolingual data, whereas IKUN leverages monolingual data from the OSCAR dataset. In the second phase, both systems are fine-tuned on parallel data sourced from NTREX, Flores, and WMT16-23 for all 11 language pairs.
• Abstract（参考訳）: 本稿では,WMT24における汎用機械翻訳タスクのために開発された2つの多言語システム,IKUNとIKUN-Cを紹介する。 IKUNとIKUN-Cは、それぞれLlama-3-8bとMistral-7B-v0.3上に構築されたオープンシステムと制約されたシステムを表している。 どちらのシステムも、単一のモデルを使用して11の言語方向を処理するように設計されている。 自動評価指標によると、IKUN-Cは全ての制約されたシステムの中で6位と3位に、IKUNは2位と1位を確保した。 これらの奨励的な結果は、大規模言語モデル(LLM)が効果的な多言語機械翻訳に必要な習熟度に近づいていることを示唆している。 システムは2段階のアプローチに基づいており、まず10言語でモノリンガルデータに対して連続的な事前学習を行い、続いて11言語方向の高品質な並列データに微調整を行う。 IKUNとIKUN-Cの主な違いは、モノリンガル事前訓練戦略にある。 IKUN-Cは制約付きモノリンガルデータを使用して事前トレーニングされる一方、IKUNはOSCARデータセットからのモノリンガルデータを活用する。 第2段階では、どちらのシステムも NTREX, Flores, WMT16-23 から得られた並列データに基づいて細調整される。

関連論文リスト

• Direct Neural Machine Translation with Task-level Mixture of Experts models [1.2338729811609357]
  ダイレクト・ニューラル・マシン・トランスレーション (Direct Neural Machine Translation, NMT) は、2つの非英語言語間のテキストを翻訳する。 Task-level Mixture of Expert Model (Task-level MoE)は、多数の言語ペアに対して有望なNMT性能を示す。
  論文  参考訳（メタデータ） (2023-10-18T18:19:45Z)
• Lego-MT: Learning Detachable Models for Massively Multilingual Machine Translation [48.37939354609931]
  そこで我々は,Lego-MTを効果的に分離可能なモデルとして構築する,新しい効率的なトレーニングレシピを提案する。 実験の結果、1.2BパラメータのLego-MTでは平均3.2spBLEUが得られた。 提案したトレーニングレシピは、従来のマルチウェイトレーニング方法よりも28.2$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-12-20T18:54:08Z)
• Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation [23.401781865904386]
  本研究では,NMTモデルをトレーニングし,未知の言語を英語と英語の両方に翻訳する2段階のアプローチを提案する。 最初の段階では、事前訓練されたXLM-RおよびRoBERTa重みにエンコーダデコーダモデルを初期化し、40言語で並列データに対して多言語微調整を行う。 第2段階では、この一般化機能を活用して、単言語データセットから合成並列データを生成し、その後、連続した後方翻訳ラウンドで双方向に訓練する。
  論文  参考訳（メタデータ） (2022-09-06T21:20:41Z)
• Building Multilingual Machine Translation Systems That Serve Arbitrary X-Y Translations [75.73028056136778]
  任意のX-Y翻訳方向に対応するMNMTシステムを実際に構築する方法を示す。 また,本提案手法を,実用的な展開シナリオに対応するため,極めて大規模なデータ設定で検討した。
  論文  参考訳（メタデータ） (2022-06-30T02:18:15Z)
• Confidence Based Bidirectional Global Context Aware Training Framework for Neural Machine Translation [74.99653288574892]
  我々は、ニューラルネットワーク翻訳(NMT)のための信頼に基づく双方向グローバルコンテキスト認識(CBBGCA)トレーニングフレームワークを提案する。 提案したCBBGCAトレーニングフレームワークは,3つの大規模翻訳データセットにおいて,NMTモデルを+1.02,+1.30,+0.57 BLEUスコアで大幅に改善する。
  論文  参考訳（メタデータ） (2022-02-28T10:24:22Z)
• Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task [95.06453182273027]
  本報告では、大規模多言語機械翻訳におけるWMT21共有タスクのためのMicrosoftの機械翻訳システムについて述べる。 共有タスクへのモデル提出はDeltaLMnotefooturlhttps://aka.ms/deltalmで行われました。 最終提出は自動評価基準で3トラックにランクインした。
  論文  参考訳（メタデータ） (2021-11-03T09:16:17Z)
• Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation [74.158365847236]
  SixT++は、100のソース言語をサポートする強力な多言語NMTモデルであるが、たった6つのソース言語からの並列データセットで一度トレーニングされている。 CRISSとm2m-100は、それぞれ7.2と5.0BLEUの2つの強い多言語NMTシステムより大幅に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T10:59:39Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。