論文の概要: How Multilingual Are Large Language Models Fine-Tuned for Translation?

• arxiv url: http://arxiv.org/abs/2405.20512v1
• Date: Thu, 30 May 2024 22:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 16:05:36.919167
• Title: How Multilingual Are Large Language Models Fine-Tuned for Translation?
• Title（参考訳）: 翻訳用に微調整された大言語モデルの多言語化
• Authors: Aquia Richburg, Marine Carpuat,
• Abstract要約: 並列テキスト上での微調整大型言語モデル(LLM)は、大量の並列データに対して教師あり方式で訓練された専用翻訳システムより優れていることが示されている。 翻訳の微調整は、ゼロショット言語、ゼロショット言語ペア、英語を含まない翻訳タスクのLLMのMT機能にどのように影響しますか? 翻訳の微調整により、ゼロショット言語でも平均で翻訳品質が向上するが、関連する言語ペアによる影響は不均一である。
• 参考スコア（独自算出の注目度）: 13.612090779277281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A new paradigm for machine translation has recently emerged: fine-tuning large language models (LLM) on parallel text has been shown to outperform dedicated translation systems trained in a supervised fashion on much larger amounts of parallel data (Xu et al., 2024a; Alves et al., 2024). However, it remains unclear whether this paradigm can enable massively multilingual machine translation or whether it requires fine-tuning dedicated models for a small number of language pairs. How does translation fine-tuning impact the MT capabilities of LLMs for zero-shot languages, zero-shot language pairs, and translation tasks that do not involve English? To address these questions, we conduct an extensive empirical evaluation of the translation quality of the TOWER family of language models (Alves et al., 2024) on 132 translation tasks from the multi-parallel FLORES-200 data. We find that translation fine-tuning improves translation quality even for zero-shot languages on average, but that the impact is uneven depending on the language pairs involved. These results call for further research to effectively enable massively multilingual translation with LLMs.
• Abstract（参考訳）: 機械翻訳の新しいパラダイムが最近出現した: 並列テキスト上の微調整大言語モデル(LLM)は、大量の並列データ(Xu et al , 2024a; Alves et al , 2024)で教師付きで訓練された専用翻訳システムより優れていることが示されている。 しかし、このパラダイムが多言語機械翻訳を可能にするのか、あるいは少数の言語ペアに対して微調整専用モデルを必要とするのかは不明だ。 翻訳の微調整は、ゼロショット言語、ゼロショット言語ペア、英語を含まない翻訳タスクのLLMのMT機能にどのように影響しますか? これらの問題に対処するため,マルチ並列FLORES-200データから132の翻訳タスクに対して,TOWERファミリーの言語モデル(Allves et al , 2024)の翻訳品質を広範囲に評価した。 翻訳の微調整により、ゼロショット言語でも平均で翻訳品質が向上するが、関連する言語ペアによる影響は不均一である。 これらの結果から,LLMを用いた多言語翻訳を効果的に実現するためのさらなる研究が求められている。

関連論文リスト

• The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities [18.175795328685986]
  機械翻訳のための微調整大型言語モデル(LLM)は、全体的な翻訳品質が改善されている。 モデルサイズは70億から65億までの範囲で,LLaMAおよびファルコン系のモデルに対して広範な翻訳評価を行う。 フォーマルなステアリングを行う能力の低下、数ショットの例による技術的翻訳の作成、文書レベルの翻訳を行う能力の低下を観察する。
  論文  参考訳（メタデータ） (2024-05-30T14:25:56Z)
• GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators [45.49880507108965]
  GenTranslate"は、N-bestリストの多種多様な翻訳バージョンからより良い結果を生成するために、大きな言語モデルの上に構築されている。 我々の新しいパラダイムは、より高品質な翻訳結果を生成するために、N-best候補にリッチな情報を統合することができる。
  論文  参考訳（メタデータ） (2024-02-10T07:20:49Z)
• Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models [47.39529535727593]
  本稿では,大言語モデル(LLM)の多言語多言語翻訳の高速化に焦点をあて,ゼロショット翻訳の方向を重視した。 言語間整合性規則化(XConST)を導入し、異なる言語間の表現ギャップを埋める。 ALMA, Tower, LLaMA-2による実験結果から, 本手法は翻訳性能を継続的に向上することが示された。
  論文  参考訳（メタデータ） (2024-01-11T12:11:30Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)
• Towards the Next 1000 Languages in Multilingual Machine Translation: Exploring the Synergy Between Supervised and Self-Supervised Learning [48.15259834021655]
  数百の言語をカバーする多言語機械翻訳モデルを構築するための実践的なアプローチを提案する。 私たちは、異なる言語ペアのデータ可用性に応じて、教師付きと自己監督型の目的の混合を使用します。 この2つのトレーニングパラダイム間の相乗効果により、ゼロリソース設定で高品質な翻訳を生成できることを実証する。
  論文  参考訳（メタデータ） (2022-01-09T23:36:44Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。