論文の概要: Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding

• arxiv url: http://arxiv.org/abs/2311.02851v2
• Date: Mon, 27 May 2024 07:52:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 08:35:04.506719
• Title: Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding
• Title（参考訳）: 大規模言語モデルによる機械翻訳の改善:協調デコードによる予備的検討
• Authors: Jiali Zeng, Fandong Meng, Yongjing Yin, Jie Zhou,
• Abstract要約: 大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。 我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
• 参考スコア（独自算出の注目度）: 73.32763904267186
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contemporary translation engines based on the encoder-decoder framework have made significant strides in development. However, the emergence of Large Language Models (LLMs) has disrupted their position by presenting the potential for achieving superior translation quality. To uncover the circumstances in which LLMs excel and explore how their strengths can be harnessed to enhance translation quality, we first conduct a comprehensive analysis to assess the strengths and limitations of various commercial NMT systems and MT-oriented LLMs. Our findings indicate that neither NMT nor MT-oriented LLMs alone can effectively address all the translation issues, but MT-oriented LLMs show promise as a complementary solution to NMT systems. Building upon these insights, we propose Cooperative Decoding (CoDec), which treats NMT systems as a pretranslation model and MT-oriented LLMs as a supplemental solution to handle complex scenarios beyond the capability of NMT alone. Experimental results on the WMT22 test sets and a newly collected test set WebCrawl demonstrate the effectiveness and efficiency of CoDec, highlighting its potential as a robust solution for combining NMT systems with MT-oriented LLMs in the field of machine translation.
• Abstract（参考訳）: エンコーダ-デコーダフレームワークに基づく現代翻訳エンジンは、開発において大きな進歩を遂げている。 しかし,Large Language Models (LLMs) の出現は,優れた翻訳品質を実現する可能性を示すことによって,その位置を混乱させている。 翻訳品質を向上させるためにLLMが優れている状況を明らかにし,その強みをいかに活用できるかを明らかにするために,まず,様々な商用NMTシステムとMT指向LLMの強度と限界を評価するための総合的な分析を行う。 以上の結果から,NMT と MT 指向 LLM だけではすべての翻訳問題に効果的に対応できないが,MT 指向 LLM は NMT システムを補完するソリューションとして有望であることが示された。 これらの知見に基づいて,NMT システムを事前翻訳モデルとして扱う Cooperative Decoding (CoDec) と,MT 指向 LLM を NMT のみの機能を超える複雑なシナリオを扱う補足的ソリューションとして提案する。 WMT22 テストセットと新たに収集したテストセット WebCrawl の実験結果から,機械翻訳分野における NMT システムと MT 指向 LLM を組み合わせた堅牢なソリューションとしての可能性を明らかにする。

関連論文リスト

• Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages [2.53740603524637]
  機械翻訳モデル(MT)は優れた多言語表現を生成し、低リソース言語でも強力な翻訳性能が得られる。 本研究は,MTエンコーダをサンプル効率のよい自己蒸留法により,言語バックボーンに直接組み込むことにより,両世界のベストを得られる。 MT-LLMは、MTエンコーダから固有の多言語表現アライメントを保持しており、低リソース言語は英語中心のLLMに埋め込まれた豊富な知識を取り入れることができる。
  論文  参考訳（メタデータ） (2024-06-18T16:00:20Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations [14.149224539732913]
  機械翻訳は、大規模言語モデル(LLM)がまだ専用の教師付きシステムに取って代わっていない最後のNLPタスクの1つである。 この研究はLLMの補完的な強度を利用して、その品質に外部からのフィードバックを伴って、LMを自動で後続MTに誘導する。 中国語・英語・ドイツ語・英語・ロシア語のMQMデータを用いた実験により,LLMのMT後処理によりTER,BLEU,COMETのスコアが向上することが実証された。 微調整はきめ細かいフィードバックをより効果的に統合し、自動評価と人的評価の両方に基づいて翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2024-04-11T15:47:10Z)
• MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
  機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。 我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-14T16:07:39Z)
• TransLLaMa: LLM-based Simultaneous Translation System [18.27477980076409]
  Decoderのみの大規模言語モデル(LLM)は,特別な"待機"トークンを生成することで,入力セグメンテーションを直接制御できることを示す。 これにより、別個の政策の必要性が排除され、LLMは英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。 また, GPT-4 などのクローズドソースモデルの評価を行い, 事前訓練をせずに SiMT タスクの実行を奨励する結果を示した。
  論文  参考訳（メタデータ） (2024-02-07T07:39:27Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• A Paradigm Shift: The Future of Machine Translation Lies with Large Language Models [55.42263732351375]
  深層ニューラルネットワークの発展により、機械翻訳は長年にわたって大きく進歩してきた。 GPT-4やChatGPTのような大規模言語モデル(LLM)の出現は、MTドメインに新しいフェーズを導入している。 我々は、Long-Document Translation、Stylized Translation、Interactive TranslationなどのシナリオにおけるLLMの利点を強調し、新しいMT方向を強調した。
  論文  参考訳（メタデータ） (2023-05-02T03:27:27Z)
• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation [91.57514888410205]
  大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。 LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。 LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。