論文の概要: GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators

• arxiv url: http://arxiv.org/abs/2402.06894v1
• Date: Sat, 10 Feb 2024 07:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 18:42:22.706136
• Title: GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators
• Title（参考訳）: GenTranslate: 大規模言語モデルは生成型多言語音声と機械翻訳器である
• Authors: Yuchen Hu, Chen Chen, Chao-Han Huck Yang, Ruizhe Li, Dong Zhang, Zhehuai Chen, Eng Siong Chng
• Abstract要約: GenTranslate"は、N-bestリストの多種多様な翻訳バージョンからより良い結果を生成するために、大きな言語モデルの上に構築されている。 我々の新しいパラダイムは、より高品質な翻訳結果を生成するために、N-best候補にリッチな情報を統合することができる。
• 参考スコア（独自算出の注目度）: 47.78037543988967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have stepped forward the development of multilingual speech and machine translation by its reduced representation errors and incorporated external knowledge. However, both translation tasks typically utilize beam search decoding and top-1 hypothesis selection for inference. These techniques struggle to fully exploit the rich information in the diverse N-best hypotheses, making them less optimal for translation tasks that require a single, high-quality output sequence. In this paper, we propose a new generative paradigm for translation tasks, namely "GenTranslate", which builds upon LLMs to generate better results from the diverse translation versions in N-best list. Leveraging the rich linguistic knowledge and strong reasoning abilities of LLMs, our new paradigm can integrate the rich information in N-best candidates to generate a higher-quality translation result. Furthermore, to support LLM finetuning, we build and release a HypoTranslate dataset that contains over 592K hypotheses-translation pairs in 11 languages. Experiments on various speech and machine translation benchmarks (e.g., FLEURS, CoVoST-2, WMT) demonstrate that our GenTranslate significantly outperforms the state-of-the-art model.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、表現誤りの低減と外部知識の組み込みによる多言語音声と機械翻訳の開発を前進させてきた。 しかし、どちらの翻訳タスクも一般的にビームサーチ復号とトップ1仮説選択を用いる。 これらの手法は、多種多様なN-best仮説の豊富な情報を十分に活用することができず、単一の高品質な出力シーケンスを必要とする翻訳タスクには適さない。 本稿では,N-best リストの多種多様な翻訳バージョンからより良い結果を生成するために LLM をベースとした,翻訳タスクのための新しい生成パラダイム "GenTranslate" を提案する。 LLMの豊かな言語知識と強力な推論能力を活用することで、我々の新しいパラダイムは、より高品質な翻訳結果を生成するために、Nベスト候補の豊かな情報を統合することができる。 さらに、LLM微調整をサポートするために、11言語で592K以上の仮説翻訳ペアを含むHypoTranslateデータセットを構築し、リリースする。 様々な音声および機械翻訳ベンチマーク(FLEURS、CoVoST-2、WMT)の実験により、我々のGenTranslateは最先端のモデルよりも大幅に優れていることが示された。

関連論文リスト

• The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities [18.175795328685986]
  機械翻訳のための微調整大型言語モデル(LLM)は、全体的な翻訳品質が改善されている。 モデルサイズは70億から65億までの範囲で,LLaMAおよびファルコン系のモデルに対して広範な翻訳評価を行う。 フォーマルなステアリングを行う能力の低下、数ショットの例による技術的翻訳の作成、文書レベルの翻訳を行う能力の低下を観察する。
  論文  参考訳（メタデータ） (2024-05-30T14:25:56Z)
• Machine Translation with Large Language Models: Prompt Engineering for Persian, English, and Russian Directions [0.0]
  生成型大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、例外的な習熟性を示している。 我々は,ペルシャ語,英語,ロシア語の言語間組み合わせに着目した2つの普及促進手法とその組み合わせについて調査を行った。
  論文  参考訳（メタデータ） (2024-01-16T15:16:34Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.777372498182864]
  生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-20T22:53:15Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。