論文の概要: Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis
- arxiv url: http://arxiv.org/abs/2304.04675v1
- Date: Mon, 10 Apr 2023 15:51:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 14:22:16.881755
- Title: Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis
- Title(参考訳): 大規模言語モデルを用いた多言語機械翻訳:実験結果と分析
- Authors: Wenhao Zhu, Hongyi Liu, Qingxiu Dong, Jingjing Xu, Lingpeng Kong,
Jiajun Chen, Lei Li, Shujian Huang
- Abstract要約: 大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
我々は102言語でXGLM, OPT, BLOOMZ, ChatGPTなどの人気のあるLLMを評価した。
- 参考スコア(独自算出の注目度): 57.101216646004666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable potential in
handling multilingual machine translation (MMT). In this paper, we
systematically investigate the advantages and challenges of LLMs for MMT by
answering two questions: 1) How well do LLMs perform in translating a massive
number of languages? 2) Which factors affect LLMs' performance in translation?
We evaluate popular LLMs, including XGLM, OPT, BLOOMZ, and ChatGPT, on 102
languages. Our empirical results show that even the best model ChatGPT still
lags behind the supervised baseline NLLB in 83.33% of translation directions.
Through further analysis, we discover that LLMs exhibit new working patterns
when used for MMT. First, prompt semantics can surprisingly be ignored when
given in-context exemplars, where LLMs still show strong performance even with
unreasonable prompts. Second, cross-lingual exemplars can provide better task
instruction for low-resource translation than exemplars in the same language
pairs. Third, we observe the overestimated performance of BLOOMZ on dataset
Flores-101, indicating the potential risk when using public datasets for
evaluation.
- Abstract(参考訳): 大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示している。
本稿では, MMT における LLM の利点と課題を, 2 つの質問に答えて体系的に検討する。
1) 大量の言語を翻訳する上で,LLMはどの程度機能するのか?
2)翻訳におけるLLMの性能に影響を及ぼす要因は何か?
我々は102言語でXGLM, OPT, BLOOMZ, ChatGPTなどの人気のあるLLMを評価した。
実験の結果、最高のモデルであるchatgptでさえ、83.33%の翻訳方向で教師付きベースラインnllbよりも遅れていることがわかった。
さらなる分析により,LSMはMTに使用する場合,新たな作業パターンを示すことがわかった。
第一に、プロンプトのセマンティクスは、コンテキスト内exemplarsが与えられたとき、驚くほど無視され、llmは、不合理なプロンプトでも強力なパフォーマンスを示す。
第2に、言語横断の例題は、同じ言語対の例題よりも、低リソース翻訳のための優れたタスク命令を提供することができる。
第3に、データセットFlores-101上でのBLOOMZの過大評価性能を観察し、パブリックデータセットを評価に用いる場合の潜在的なリスクを示す。
関連論文リスト
- Improving LLM-based Machine Translation with Systematic Self-Correction [27.679218053257685]
大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た
しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。
これらの知見に触発され,系統的なLLMに基づく自己修正翻訳フレームワークであるTERを導入する。
論文 参考訳(メタデータ) (2024-02-26T07:58:12Z) - Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - On-the-Fly Fusion of Large Language Models and Machine Translation [4.179407478417388]
我々は,同じタスクと入力に対して,LLMを用いた機械翻訳モデルのオンザフライアンサンブルを提案する。
LLMはNMTモデルの翻訳を改善することができ、LLMとのアンサンブルは2つのより強いMTモデルをアンサンブルするよりも優れた翻訳を生成することができる。
論文 参考訳(メタデータ) (2023-11-14T16:49:33Z) - SCALE: Synergized Collaboration of Asymmetric Language Translation
Engines [105.8983433641208]
本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。
STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。
実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-09-29T08:46:38Z) - Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。
本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T12:00:24Z) - Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。
本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文 参考訳(メタデータ) (2023-04-05T03:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。