論文の概要: Improving LLM-based Machine Translation with Systematic Self-Correction
- arxiv url: http://arxiv.org/abs/2402.16379v2
- Date: Mon, 4 Mar 2024 03:14:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 23:38:45.083654
- Title: Improving LLM-based Machine Translation with Systematic Self-Correction
- Title(参考訳): 系統的自己補正によるLLM機械翻訳の改良
- Authors: Zhaopeng Feng, Yan Zhang, Hao Li, Wenqiang Liu, Jun Lang, Yang Feng,
Jian Wu, Zuozhu Liu
- Abstract要約: 大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た
しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。
これらの知見に触発され,系統的なLLMに基づく自己修正翻訳フレームワークであるTERを導入する。
- 参考スコア(独自算出の注目度): 27.679218053257685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have achieved impressive results in Machine
Translation (MT). However, careful evaluations by human reveal that the
translations produced by LLMs still contain multiple errors. Importantly,
feeding back such error information into the LLMs can lead to self-correction
and result in improved translation performance. Motivated by these insights, we
introduce a systematic LLM-based self-correcting translation framework, named
TER, which stands for Translate, Estimate, and Refine, marking a significant
step forward in this direction. Our findings demonstrate that 1) our
self-correction framework successfully assists LLMs in improving their
translation quality across a wide range of languages, whether it's from
high-resource languages to low-resource ones or whether it's English-centric or
centered around other languages; 2) TER exhibits superior systematicity and
interpretability compared to previous methods; 3) different estimation
strategies yield varied impacts on AI feedback, directly affecting the
effectiveness of the final corrections. We further compare different LLMs and
conduct various experiments involving self-correction and cross-model
correction to investigate the potential relationship between the translation
and evaluation capabilities of LLMs. Our code and data are available at
https://github.com/fzp0424/self_correct_mt
- Abstract(参考訳): 大規模言語モデル (LLM) は機械翻訳 (MT) において驚くべき結果を得た。
しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。
重要なことは、そのようなエラー情報をLSMにフィードバックすることで、自己補正が生じ、翻訳性能が向上する可能性がある。
これらの知見に触発されて, 翻訳, 見積, Refine の略語である TER という, LLM に基づく自己訂正翻訳フレームワークを導入し, この方向への大きな一歩を踏み出した。
私たちの発見は
1)当社の自己修正フレームワークは,高リソース言語から低リソース言語まで,あるいは英語中心か,あるいは他言語中心かに関わらず,幅広い言語を対象とした翻訳品質の向上において,llmをうまく支援しています。
2) TERは,従来の方法と比較して,系統性及び解釈性に優れる。
3) 異なる推定戦略は、aiフィードバックに様々な影響をもたらし、最終補正の有効性に直接影響する。
さらに,LLMの翻訳能力と評価能力との関係について検討し,自己補正とクロスモデル補正を含む様々な実験を行った。
私たちのコードとデータはhttps://github.com/fzp0424/self_correct_mtで利用可能です。
関連論文リスト
- Self-Augmented In-Context Learning for Unsupervised Word Translation [81.6546357879259]
大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。
教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。
提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
論文 参考訳(メタデータ) (2024-02-15T15:43:05Z) - Machine Translation with Large Language Models: Prompt Engineering for
Persian, English, and Russian Directions [0.0]
生成型大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、例外的な習熟性を示している。
我々は,ペルシャ語,英語,ロシア語の言語間組み合わせに着目した2つの普及促進手法とその組み合わせについて調査を行った。
論文 参考訳(メタデータ) (2024-01-16T15:16:34Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource
Unsupervised Neural Machine Translation [32.76853731410492]
低リソース言語(LRL)は、限られた並列データによる教師ありニューラルマシン翻訳の課題に直面している。
本稿では,大言語モデルのLRL翻訳能力を高めるために,確率駆動型メタグラフプロンプタ(POMP)を提案する。
本実験は3つのLRLの翻訳品質を著しく改善した。
論文 参考訳(メタデータ) (2024-01-11T00:03:36Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳(メタデータ) (2023-12-26T18:38:54Z) - On-the-Fly Fusion of Large Language Models and Machine Translation [4.179407478417388]
我々は,同じタスクと入力に対して,LLMを用いた機械翻訳モデルのオンザフライアンサンブルを提案する。
LLMはNMTモデルの翻訳を改善することができ、LLMとのアンサンブルは2つのより強いMTモデルをアンサンブルするよりも優れた翻訳を生成することができる。
論文 参考訳(メタデータ) (2023-11-14T16:49:33Z) - Towards Effective Disambiguation for Machine Translation with Large
Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。
実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-09-20T22:22:52Z) - Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis [108.37242622164709]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。