論文の概要: Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning

• arxiv url: http://arxiv.org/abs/2403.14399v1
• Date: Thu, 21 Mar 2024 13:47:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:09:01.285107
• Title: Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning
• Title（参考訳）: 言語学習指導による正確な翻訳台詞構築
• Authors: Changtong Zan, Liang Ding, Li Shen, Yibing Zhen, Weifeng Liu, Dacheng Tao,
• Abstract要約: オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 57.323716555996114
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Translation-tailored Large language models (LLMs) exhibit remarkable translation capabilities, even competing with supervised-trained commercial translation systems. However, off-target translation remains an unsolved problem, especially for low-resource languages, hindering us from developing accurate LLMs-based translation models. To mitigate the off-target translation problem and enhance the performance of LLMs on translation, recent works have either designed advanced prompting strategies to highlight the functionality of translation instructions or exploited the in-context learning ability of LLMs by feeding few-shot demonstrations. However, these methods essentially do not improve LLM's ability to follow translation instructions, especially the language direction information. In this work, we design a two-stage fine-tuning algorithm to improve the instruction-following ability (especially the translation direction) of LLMs. Specifically, we first tune LLMs with the maximum likelihood estimation loss on the translation dataset to elicit the basic translation capabilities. In the second stage, we construct instruction-conflicting samples by randomly replacing the translation directions with a wrong one within the instruction, and then introduce an extra unlikelihood loss to learn those samples. Experiments on IWSLT and WMT benchmarks upon the LLaMA model spanning 16 zero-shot directions show that, compared to the competitive baseline -- translation-finetuned LLama, our method could effectively reduce the off-target translation ratio (averagely -53.3\%), thus improving translation quality with average +5.7 SacreBLEU and +16.4 BLEURT. Analysis shows that our method could preserve the model's general task performance on AlpacaEval. Code and models will be released at \url{https://github.com/alphadl/LanguageAware_Tuning}.
• Abstract（参考訳）: 翻訳調整大型言語モデル(LLM)は、教師付き訓練された商用翻訳システムと競合する、優れた翻訳能力を示す。 しかし、特に低リソース言語では、ターゲット外の翻訳は未解決の問題であり、正確なLLMベースの翻訳モデルの開発を妨げる。 オフターゲット翻訳問題を緩和し、翻訳におけるLLMの性能を高めるため、最近の研究は、翻訳命令の機能を強調するための高度なプロンプト戦略を設計するか、あるいは、数発のデモを流し、LLMのテキスト内学習能力を活用した。 しかし、これらの手法は基本的にLLMの翻訳命令、特に言語方向情報に従う能力を改善するものではない。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。 具体的には、まず、基本翻訳能力を引き出すために、翻訳データセットの最大推定損失を最大化してLLMをチューニングする。 第2段階では、命令中の翻訳指示を間違った命令にランダムに置き換えて、そのサンプルを学習するために余分な不規則な損失を導入することによって、命令記述型サンプルを構築する。 ゼロショット方向16のLLaMAモデルを用いたIWSLTおよびWMTベンチマーク実験により、競合するベースラインであるLLamaと比較して、オフターゲット変換比(平均-53.3\%)を効果的に低減し、平均+5.7 SacreBLEUおよび+16.4 BLEURTで翻訳品質を向上させることができた。 解析の結果,本手法はAlpacaEval上でのモデルの一般的なタスク性能を維持できることがわかった。 コードとモデルは \url{https://github.com/alphadl/LanguageAware_Tuning} でリリースされる。

関連論文リスト

• Language Models and Cycle Consistency for Self-Reflective Machine Translation [1.79487674052027]
  我々は、ソース言語Aからターゲット言語Bへの複数の翻訳候補を生成し、その後、これらの候補を元の言語Aに翻訳する。 トークンレベルの精度や精度などの指標を用いて、原文と裏文の周期一貫性を評価することにより、言語Bの翻訳品質を暗黙的に推定する。 各原文に対して、翻訳候補を、原文と最適なサイクル整合性で同定し、最終回答とする。
  論文  参考訳（メタデータ） (2024-11-05T04:01:41Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource Unsupervised Neural Machine Translation [32.76853731410492]
  低リソース言語(LRL)は、限られた並列データによる教師ありニューラルマシン翻訳の課題に直面している。 本稿では,大言語モデルのLRL翻訳能力を高めるために,確率駆動型メタグラフプロンプタ(POMP)を提案する。 本実験は3つのLRLの翻訳品質を著しく改善した。
  論文  参考訳（メタデータ） (2024-01-11T00:03:36Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback [90.20262941911027]
  ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。 具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。 本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
  論文  参考訳（メタデータ） (2023-04-05T13:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。