Fugu-MT 論文翻訳(概要): Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing

論文の概要: Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing

arxiv url: http://arxiv.org/abs/2310.14855v1
Date: Mon, 23 Oct 2023 12:22:15 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 20:16:48.167348
Title: Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing
Title（参考訳）: 翻訳の文脈的リファインメント:文文と文書レベル編集のための大規模言語モデル
Authors: Sai Koneru, Miriam Exel, Matthias Huck and Jan Niehues
Abstract要約: 大規模言語モデル(LLM)は様々な自然言語処理タスクでかなりの成功を収めている。彼らはまだ、ニューラルネットワーク翻訳における最先端のパフォーマンスを達成できていない。ニューラルネットワーク翻訳におけるLLMの応用について検討し,近年のパラメータ効率向上技術について検討する。
参考スコア（独自算出の注目度）: 14.030354616779327
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLM's) have demonstrated considerable success in various Natural Language Processing tasks, but they have yet to attain state-of-the-art performance in Neural Machine Translation (NMT). Nevertheless, their significant performance in tasks demanding a broad understanding and contextual processing shows their potential for translation. To exploit these abilities, we investigate using LLM's for MT and explore recent parameter-efficient fine-tuning techniques. Surprisingly, our initial experiments find that fine-tuning for translation purposes even led to performance degradation. To overcome this, we propose an alternative approach: adapting LLM's as Automatic Post-Editors (APE) rather than direct translators. Building on the LLM's exceptional ability to process and generate lengthy sequences, we also propose extending our approach to document-level translation. We show that leveraging Low-Rank-Adapter fine-tuning for APE can yield significant improvements across both sentence and document-level metrics while generalizing to out-of-domain data. Most notably, we achieve a state-of-the-art accuracy rate of 89\% on the ContraPro test set, which specifically assesses the model's ability to resolve pronoun ambiguities when translating from English to German. Lastly, we investigate a practical scenario involving manual post-editing for document-level translation, where reference context is made available. Here, we demonstrate that leveraging human corrections can significantly reduce the number of edits required for subsequent translations\footnote{Interactive Demo for integrating manual feedback can be found \href{https://huggingface.co/spaces/skoneru/contextual_refinement_ende}{here}}
Abstract（参考訳）: 大規模言語モデル(llm)は、様々な自然言語処理タスクでかなりの成功を収めているが、ニューラルマシン翻訳(nmt)ではまだ最先端のパフォーマンスを達成していない。それでも、広範囲の理解と文脈処理を必要とするタスクにおける重要なパフォーマンスは、翻訳の可能性を示している。これらの能力を生かし, MTのためのLSMを用いて最近のパラメータ効率向上技術を探究する。驚くべきことに、私たちの最初の実験では、翻訳目的の微調整がパフォーマンスの低下につながることもわかりました。そこで本研究では,LLMを直接翻訳者ではなく自動編集者 (APE) として適応するアプローチを提案する。 llmの長いシーケンスを処理し生成する能力に基づいて、ドキュメントレベルの翻訳へのアプローチを拡張することを提案する。 APEの低ランク・アダプタによる微調整は文レベルと文書レベルの両方で大幅に改善され,ドメイン外データへの一般化が期待できることを示す。最も注目すべきは、contraproテストセットで最先端の精度を89\%達成し、英語からドイツ語への変換時に代名詞の曖昧さを解消するモデルの能力を評価することである。最後に,ドキュメントレベルの翻訳を手作業で編集し,参照コンテキストが利用可能となるような実践シナリオについて検討する。ここでは、人間の修正を活用することで、その後の翻訳に必要な編集回数を大幅に削減できることを実証する。

関連論文リスト

Instruction-Tuned LLMs Succeed in Document-Level MT Without Fine-Tuning -- But BLEU Turns a Blind Eye [15.987448306012167]
大規模言語モデル(LLM)は機械翻訳(MT)を含む様々なNLPタスクに優れている。本研究は,文書レベル翻訳(docMT)における命令調整型LLMの本質的能力について検討する。
論文参考訳（メタデータ） (2024-10-28T11:49:58Z)
TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
論文参考訳（メタデータ） (2024-06-12T17:21:21Z)
The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities [18.175795328685986]
機械翻訳のための微調整大型言語モデル(LLM)は、全体的な翻訳品質が改善されている。モデルサイズは70億から65億までの範囲で,LLaMAおよびファルコン系のモデルに対して広範な翻訳評価を行う。フォーマルなステアリングを行う能力の低下、数ショットの例による技術的翻訳の作成、文書レベルの翻訳を行う能力の低下を観察する。
論文参考訳（メタデータ） (2024-05-30T14:25:56Z)
Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
オフターゲット翻訳は、特に低リソース言語では未解決の問題である。最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
論文参考訳（メタデータ） (2024-03-21T13:47:40Z)
Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
論文参考訳（メタデータ） (2024-01-12T09:29:13Z)
Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
論文参考訳（メタデータ） (2023-09-20T22:22:52Z)
TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文参考訳（メタデータ） (2023-07-10T08:15:40Z)
ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback [90.20262941911027]
ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
論文参考訳（メタデータ） (2023-04-05T13:12:00Z)
Adaptive Machine Translation with Large Language Models [7.803471587734353]
実時間適応型機械翻訳を改善するために,テキスト内学習をいかに活用できるかを検討する。英語-アラビア語(EN-AR)、英語-中国語(EN-ZH)、英語-フランス語(EN-FR)、英語-キニャルワンダ(EN-RW)、英語-スペイン語(EN-ES)の5つの多種多様な言語対の実験を行った。
論文参考訳（メタデータ） (2023-01-30T21:17:15Z)
Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
論文参考訳（メタデータ） (2021-09-10T10:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。