論文の概要: Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations
- arxiv url: http://arxiv.org/abs/2404.07851v1
- Date: Thu, 11 Apr 2024 15:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 13:20:46.431179
- Title: Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations
- Title(参考訳): 誤り注釈付き機械翻訳における大規模言語モデルの誘導
- Authors: Dayeon Ki, Marine Carpuat,
- Abstract要約: 機械翻訳は、大規模言語モデル(LLM)がまだ専用の教師付きシステムに取って代わっていない最後のNLPタスクの1つである。
この研究はLLMの補完的な強度を利用して、その品質に外部からのフィードバックを伴って、LMを自動で後続MTに誘導する。
中国語・英語・ドイツ語・英語・ロシア語のMQMデータを用いた実験により,LLMのMT後処理によりTER,BLEU,COMETのスコアが向上することが実証された。
微調整はきめ細かいフィードバックをより効果的に統合し、自動評価と人的評価の両方に基づいて翻訳品質を向上させる。
- 参考スコア(独自算出の注目度): 14.149224539732913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Translation (MT) remains one of the last NLP tasks where large language models (LLMs) have not yet replaced dedicated supervised systems. This work exploits the complementary strengths of LLMs and supervised MT by guiding LLMs to automatically post-edit MT with external feedback on its quality, derived from Multidimensional Quality Metric (MQM) annotations. Working with LLaMA-2 models, we consider prompting strategies varying the nature of feedback provided and then fine-tune the LLM to improve its ability to exploit the provided guidance. Through experiments on Chinese-English, English-German, and English-Russian MQM data, we demonstrate that prompting LLMs to post-edit MT improves TER, BLEU and COMET scores, although the benefits of fine-grained feedback are not clear. Fine-tuning helps integrate fine-grained feedback more effectively and further improves translation quality based on both automatic and human evaluation.
- Abstract(参考訳): 機械翻訳(MT)は、大規模言語モデル(LLM)がまだ専用の教師付きシステムに取って代わっていない最後のNLPタスクの1つである。
本研究は,多次元品質メトリクス(MQM)アノテーションから得られた外部フィードバックにより,LLMを自動編集後MTに誘導することにより,LLMの相補的強度と教師付きMTの強化を生かした。
LLaMA-2モデルを用いて、提供されたフィードバックの性質を変化させ、提供されたガイダンスを活用する能力を向上させるため、LLMを微調整する戦略について検討する。
中国語・英語・ドイツ語・英語・ロシア語のMQMデータを用いた実験により,LLMのMT後処理によりTER,BLEU,COMETのスコアが向上することを示した。
微調整はきめ細かいフィードバックをより効果的に統合し、自動評価と人的評価の両方に基づいて翻訳品質を向上させる。
関連論文リスト
- Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
オフターゲット翻訳は、特に低リソース言語では未解決の問題である。
最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。
本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-03-21T13:47:40Z) - Improving LLM-based Machine Translation with Systematic Self-Correction [27.679218053257685]
大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た
しかし、人間による慎重な評価は、LLMが生成した翻訳には、まだ複数の誤りが含まれていることを明らかにしている。
これらの知見に触発され,系統的なLLMに基づく自己修正翻訳フレームワークであるTERを導入する。
論文 参考訳(メタデータ) (2024-02-26T07:58:12Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - On-the-Fly Fusion of Large Language Models and Machine Translation [3.718665608549311]
我々は,同じタスクと入力に対して,LLMを用いた機械翻訳モデルのオンザフライアンサンブルを提案する。
LLMはNMTモデルの翻訳を改善することができ、LLMとのアンサンブルは2つのより強いMTモデルをアンサンブルするよりも優れた翻訳を生成することができる。
論文 参考訳(メタデータ) (2023-11-14T16:49:33Z) - Improving Machine Translation with Large Language Models: A Preliminary
Study with Cooperative Decoding [78.66926087162672]
まず,MT 指向 LLM と MT 指向 LLM の長所と短所を総合的に解析し,その長所と短所について検討する。
これらの知見に基づいて,NMT システムを事前翻訳モデルとして,MT 指向 LLM を補足解として扱う Cooperative Decoding (CoDec) を提案する。
WMT22テストセットと新たに収集されたテストセットWebCrawlの結果は、CoDecの有効性と効率を実証している。
論文 参考訳(メタデータ) (2023-11-06T03:41:57Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Multilingual Machine Translation with Large Language Models: Empirical
Results and Analysis [108.37242622164709]
大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。
本稿では, MMT における LLM の利点と課題を体系的に検討する。
また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
論文 参考訳(メタデータ) (2023-04-10T15:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。