論文の概要: TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement

• arxiv url: http://arxiv.org/abs/2402.16379v3
• Date: Fri, 21 Jun 2024 07:35:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 19:46:30.047731
• Title: TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement
• Title（参考訳）: TEaR: 系統的自己精製によるLLM機械翻訳の改善
• Authors: Zhaopeng Feng, Yan Zhang, Hao Li, Bei Wu, Jiayu Liao, Wenqiang Liu, Jun Lang, Yang Feng, Jian Wu, Zuozhu Liu,
• Abstract要約: 大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
• 参考スコア（独自算出の注目度）: 26.26493253161022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved impressive results in Machine Translation (MT). However, careful evaluations by human reveal that the translations produced by LLMs still contain multiple errors. Importantly, feeding back such error information into the LLMs can lead to self-refinement and result in improved translation performance. Motivated by these insights, we introduce a systematic LLM-based self-refinement translation framework, named \textbf{TEaR}, which stands for \textbf{T}ranslate, \textbf{E}stimate, \textbf{a}nd \textbf{R}efine, marking a significant step forward in this direction. Our findings demonstrate that 1) our self-refinement framework successfully assists LLMs in improving their translation quality across a wide range of languages, whether it's from high-resource languages to low-resource ones or whether it's English-centric or centered around other languages; 2) TEaR exhibits superior systematicity and interpretability; 3) different estimation strategies yield varied impacts, directly affecting the effectiveness of the final corrections. Additionally, traditional neural translation models and evaluation models operate separately, often focusing on singular tasks due to their limited capabilities, while general-purpose LLMs possess the capability to undertake both tasks simultaneously. We further conduct cross-model correction experiments to investigate the potential relationship between the translation and evaluation capabilities of general-purpose LLMs. Our code and data are available at https://github.com/fzp0424/self_correct_mt
• Abstract（参考訳）: 大規模言語モデル (LLM) は機械翻訳 (MT) において顕著な成果を上げている。 しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。 重要なことは、そのようなエラー情報をLSMにフィードバックすることは、自己抑止につながる可能性があり、結果として翻訳性能が向上する。 これらの知見に触発されて、我々は体系的な LLM ベースの自己精製翻訳フレームワークである \textbf{T}ranslate, \textbf{E}stimate, \textbf{a}nd \textbf{R}efine を導入する。 私たちの発見は 1) 自己精製フレームワークは,高リソース言語から低リソース言語へ,あるいは英語中心か,あるいは他言語を中心として,多言語にわたる翻訳品質の向上に成功している。 2)TEaRは,優れた体系性と解釈可能性を示す。 3) 様々な評価手法が様々な影響をもたらし, 最終補正の有効性に直接影響を及ぼす。 加えて、従来のニューラル翻訳モデルと評価モデルは別々に動作し、しばしばその限られた能力のために特異なタスクに焦点を合わせ、汎用LLMは両方のタスクを同時に実行する能力を持っている。 さらに, 汎用LLMの翻訳能力と評価能力の関連性を検討するために, クロスモデル補正実験を行った。 私たちのコードとデータはhttps://github.com/fzp0424/self_correct_mtで公開されています。

関連論文リスト

• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Paying More Attention to Source Context: Mitigating Unfaithful Translations from Large Language Model [28.288949710191158]
  大規模言語モデル(LLM)は、印象的な多言語機械翻訳能力を示した。 エンコーダ-デコーダスタイルのモデルとは異なり、デコーダのみのLLMはソースとターゲットのコンテキストの間に明確なアライメントを欠いている。 我々はLLMに対して、ソースとターゲットの両方の観点から、ソースコンテキストにもっと注意を払うよう推奨する。
  論文  参考訳（メタデータ） (2024-06-11T07:49:04Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。