論文の概要: Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding

• arxiv url: http://arxiv.org/abs/2311.02851v1
• Date: Mon, 6 Nov 2023 03:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 15:23:08.923105
• Title: Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding
• Title（参考訳）: 大規模言語モデルによる機械翻訳の改善:協調復号化による予備研究
• Authors: Jiali Zeng and Fandong Meng and Yongjing Yin and Jie Zhou
• Abstract要約: まず,MT 指向 LLM と MT 指向 LLM の長所と短所を総合的に解析し,その長所と短所について検討する。 これらの知見に基づいて,NMT システムを事前翻訳モデルとして,MT 指向 LLM を補足解として扱う Cooperative Decoding (CoDec) を提案する。 WMT22テストセットと新たに収集されたテストセットWebCrawlの結果は、CoDecの有効性と効率を実証している。
• 参考スコア（独自算出の注目度）: 78.66926087162672
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contemporary translation engines built upon the encoder-decoder framework have reached a high level of development, while the emergence of Large Language Models (LLMs) has disrupted their position by offering the potential for achieving superior translation quality. Therefore, it is crucial to understand in which scenarios LLMs outperform traditional NMT systems and how to leverage their strengths. In this paper, we first conduct a comprehensive analysis to assess the strengths and limitations of various commercial NMT systems and MT-oriented LLMs. Our findings indicate that neither NMT nor MT-oriented LLMs alone can effectively address all the translation issues, but MT-oriented LLMs can serve as a promising complement to the NMT systems. Building upon these insights, we explore hybrid methods and propose Cooperative Decoding (CoDec), which treats NMT systems as a pretranslation model and MT-oriented LLMs as a supplemental solution to handle complex scenarios beyond the capability of NMT alone. The results on the WMT22 test sets and a newly collected test set WebCrawl demonstrate the effectiveness and efficiency of CoDec, highlighting its potential as a robust solution for combining NMT systems with MT-oriented LLMs in machine translation.
• Abstract（参考訳）: エンコーダ/デコーダフレームワーク上に構築された現代翻訳エンジンは高い開発水準に達し、大言語モデル(llm)の出現は、優れた翻訳品質を達成する可能性を提供することでその地位を乱している。 したがって, LLM が従来の NMT システムより優れているシナリオと, その強みを活用する方法を理解することが重要である。 本稿では,様々な商用nmtシステムとmt指向llmの強度と限界を評価するために,まず総合的な解析を行う。 以上の結果から,NMT と MT 指向 LLM だけではすべての翻訳問題に効果的に対処できないが,MT 指向 LLM は NMT システムにとって有望な補完となることが示唆された。 これらの知見に基づいて,NMTシステムを事前翻訳モデルとして扱う協調復号法(CoDec)と,NMTのみの機能を超える複雑なシナリオを扱う補足的なソリューションとして,協調復号法(CoDec)を提案する。 WMT22 テストセットと新たに収集したテストセット WebCrawl は CoDec の有効性と効率を実証し,機械翻訳における NMT システムと MT 指向 LLM を組み合わせた堅牢なソリューションとしての可能性を強調した。

関連論文リスト

• Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages [2.53740603524637]
  機械翻訳モデル(MT)は優れた多言語表現を生成し、低リソース言語でも強力な翻訳性能が得られる。 本研究は,MTエンコーダをサンプル効率のよい自己蒸留法により,言語バックボーンに直接組み込むことにより,両世界のベストを得られる。 MT-LLMは、MTエンコーダから固有の多言語表現アライメントを保持しており、低リソース言語は英語中心のLLMに埋め込まれた豊富な知識を取り入れることができる。
  論文  参考訳（メタデータ） (2024-06-18T16:00:20Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Guiding Large Language Models to Post-Edit Machine Translation with Error Annotations [14.149224539732913]
  機械翻訳は、大規模言語モデル(LLM)がまだ専用の教師付きシステムに取って代わっていない最後のNLPタスクの1つである。 この研究はLLMの補完的な強度を利用して、その品質に外部からのフィードバックを伴って、LMを自動で後続MTに誘導する。 中国語・英語・ドイツ語・英語・ロシア語のMQMデータを用いた実験により,LLMのMT後処理によりTER,BLEU,COMETのスコアが向上することが実証された。 微調整はきめ細かいフィードバックをより効果的に統合し、自動評価と人的評価の両方に基づいて翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2024-04-11T15:47:10Z)
• MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation [61.65537912700187]
  機械翻訳(MT)分野における言語モデル(LLM)の強みを実証した。 我々は,LLMから既存のMTモデルに選択的かつ包括的かつ積極的に知識を伝達するMT-Patcherというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-14T16:07:39Z)
• TransLLaMa: LLM-based Simultaneous Translation System [18.27477980076409]
  Decoderのみの大規模言語モデル(LLM)は,特別な"待機"トークンを生成することで,入力セグメンテーションを直接制御できることを示す。 これにより、別個の政策の必要性が排除され、LLMは英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。 また, GPT-4 などのクローズドソースモデルの評価を行い, 事前訓練をせずに SiMT タスクの実行を奨励する結果を示した。
  論文  参考訳（メタデータ） (2024-02-07T07:39:27Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• A Paradigm Shift: The Future of Machine Translation Lies with Large Language Models [55.42263732351375]
  深層ニューラルネットワークの発展により、機械翻訳は長年にわたって大きく進歩してきた。 GPT-4やChatGPTのような大規模言語モデル(LLM)の出現は、MTドメインに新しいフェーズを導入している。 我々は、Long-Document Translation、Stylized Translation、Interactive TranslationなどのシナリオにおけるLLMの利点を強調し、新しいMT方向を強調した。
  論文  参考訳（メタデータ） (2023-05-02T03:27:27Z)
• Towards Reliable Neural Machine Translation with Consistency-Aware Meta-Learning [24.64700139151659]
  現在のニューラル機械翻訳(NMT)システムは信頼性の欠如に悩まされている。 本稿では,モデルに依存しないメタラーニング(MAML)アルゴリズムをベースとした,一貫性を考慮したメタラーニング(CAML)フレームワークを提案する。 我々は、NIST中国語から英語へのタスク、3つのWMT翻訳タスク、TED M2Oタスクについて実験を行った。
  論文  参考訳（メタデータ） (2023-03-20T09:41:28Z)
• Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation [91.57514888410205]
  大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。 LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。 LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。