論文の概要: Instruction-Tuned LLMs Succeed in Document-Level MT Without Fine-Tuning -- But BLEU Turns a Blind Eye

• arxiv url: http://arxiv.org/abs/2410.20941v1
• Date: Mon, 28 Oct 2024 11:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:18:14.424047
• Title: Instruction-Tuned LLMs Succeed in Document-Level MT Without Fine-Tuning -- But BLEU Turns a Blind Eye
• Title（参考訳）: 微調整なしの文書レベルMTで学習した命令調整LDM - しかしBLEUは盲目の目を向ける
• Authors: Yirong Sun, Dawei Zhu, Yanjun Chen, Erjia Xiao, Xinghao Chen, Xiaoyu Shen,
• Abstract要約: 大規模言語モデル(LLM)は機械翻訳(MT)を含む様々なNLPタスクに優れている。 本研究は,文書レベル翻訳(docMT)における命令調整型LLMの本質的能力について検討する。
• 参考スコア（独自算出の注目度）: 15.987448306012167
• License:
• Abstract: Large language models (LLMs) have excelled in various NLP tasks, including machine translation (MT), yet most studies focus on sentence-level translation. This work investigates the inherent capability of instruction-tuned LLMs for document-level translation (docMT). Unlike prior approaches that require specialized techniques, we evaluate LLMs by directly prompting them to translate entire documents in a single pass. Our results show that this method improves translation quality compared to translating sentences separately, even without document-level fine-tuning. However, this advantage is not reflected in BLEU scores, which often favor sentence-based translations. We propose using the LLM-as-a-judge paradigm for evaluation, where GPT-4 is used to assess document coherence, accuracy, and fluency in a more nuanced way than n-gram-based metrics. Overall, our work demonstrates that instruction-tuned LLMs can effectively leverage document context for translation. However, we caution against using BLEU scores for evaluating docMT, as they often provide misleading outcomes, failing to capture the quality of document-level translation. Code and data are available at https://github.com/EIT-NLP/BLEUless_DocMT
• Abstract（参考訳）: 大規模言語モデル(LLM)は機械翻訳(MT)を含む様々なNLPタスクに優れていたが、ほとんどの研究は文レベルの翻訳に重点を置いている。 本研究は,文書レベル翻訳(docMT)における命令調整型LLMの本質的能力について検討する。 専門技術を必要とする従来の手法とは異なり、文書全体を単一のパスで直接翻訳することでLCMを評価する。 本手法は,文書レベルの微調整がなくても,文章を別々に翻訳するよりも翻訳品質が向上することを示す。 しかし、この利点はBLEUスコアに反映されず、しばしば文ベースの翻訳を好む。 我々は,GPT-4を用いて文書のコヒーレンス,精度,流速を,n-gram ベースの指標よりも微妙に評価する LLM-as-a-judge パラダイムを用いて評価する。 本研究は,命令調整型LLMが文書コンテキストを効果的に活用できることを実証する。 しかし、文書レベルの翻訳の質を捉えるのに失敗し、しばしば誤解を招く結果をもたらすため、docMTの評価にBLEUスコアを使うことに注意する。 コードとデータはhttps://github.com/EIT-NLP/BLEUless_DocMTで公開されている。

関連論文リスト

• Analyzing Context Utilization of LLMs in Document-Level Translation [10.174848090916669]
  大規模言語モデル(LLM)は機械翻訳においてますます強力な競争相手となっている。 文章の外部からの文脈なしには、いくつかの単語を翻訳できない文書レベルの翻訳について研究する。 LLMの改良された文書翻訳性能は代名詞翻訳性能に必ずしも反映されないことがわかった。
  論文  参考訳（メタデータ） (2024-10-18T11:52:10Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions [24.025242477280983]
  機械翻訳のための既存の大きな言語モデル(LLM)は、典型的には文レベルの翻訳命令に基づいて微調整される。 この課題は、文レベルのカバレッジの問題から生じ、文書のその後の文は転写されないままである。 様々な長さの文レベルと文書レベルの翻訳命令を微調整LLMに結合する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-16T03:28:26Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation [91.57514888410205]
  大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。 LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。 LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:46:42Z)
• Using Context in Neural Machine Translation Training Objectives [23.176247496139574]
  バッチレベルの文書を用いた文書レベルのメトリクスを用いたニューラルネットワーク翻訳(NMT)トレーニングを提案する。 トレーニングは、シーケンスメトリクスよりもドキュメントレベルのメトリクスの方が堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-05-04T13:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。