論文の概要: IntGrad MT: Eliciting LLMs' Machine Translation Capabilities with Sentence Interpolation and Gradual MT

• arxiv url: http://arxiv.org/abs/2410.11693v2
• Date: Wed, 16 Oct 2024 01:45:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 09:43:22.642541
• Title: IntGrad MT: Eliciting LLMs' Machine Translation Capabilities with Sentence Interpolation and Gradual MT
• Title（参考訳）: IntGrad MT: 文補間と経時的MTによるLLMの機械翻訳能力の緩和
• Authors: Seung-Woo Choi, Ga-Hyun Yoo, Jay-Yoon Lee,
• Abstract要約: 大規模言語モデル(LLM)は、追加の並列コーパスを微調整することなく、翻訳において強力な性能を示している。 これまでの研究は、関連するいくつかの例や辞書や文法書などの外部リソースを活用することでこの問題を軽減することに重点を置いてきた。 本稿では,LLM固有の翻訳機能を完全に活用することを目的とした,IntGrad MTという新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 5.323504404265276
• License:
• Abstract: Recent Large Language Models (LLMs) have demonstrated strong performance in translation without needing to be finetuned on additional parallel corpora. However, they still underperform for low-resource language pairs. Previous works have focused on mitigating this issue by leveraging relevant few-shot examples or external resources such as dictionaries or grammar books, making models heavily reliant on these nonparametric sources of information. In this paper, we propose a novel method named IntGrad MT that focuses on fully exploiting an LLM's inherent translation capability. IntGrad MT achieves this by constructing a chain of few-shot examples, each consisting of a source sentence and the model's own translation, that rise incrementally in difficulty. IntGrad MT employs two techniques: Sentence Interpolation, which generates a sequence of sentences that gradually change from an easy sentence to translate to a difficult one, and Gradual MT, which sequentially translates this chain using translations of earlier sentences as few-shot examples for the translation of subsequent ones. With this approach, we observe a substantial enhancement in the xCOMET scores of various LLMs for multiple languages, especially in low-resource languages such as Hindi(8.26), Swahili(7.10), Bengali(6.97) and Marathi(13.03). Our approach presents a practical way of enhancing LLMs' performance without extra training.
• Abstract（参考訳）: 最近のLarge Language Models (LLMs) は、追加の並列コーパスを微調整することなく、翻訳において強力な性能を示している。 しかし、低リソースの言語ペアでは依然としてパフォーマンスが劣っている。 これまでの研究は、関連するいくつかの例や辞書や文法書などの外部リソースを活用してこの問題を緩和することに集中しており、これらの非パラメトリックな情報源に依存している。 本稿では,LLM固有の翻訳機能を完全に活用することを目的とした,IntGrad MTという新しい手法を提案する。 IntGrad MTは、ソース文とモデル自身の翻訳からなり、難易度が徐々に上昇する、いくつかの例の連鎖を構築することで、これを達成している。 IntGrad MTは、簡単な文から難しい文に徐々に変化する文列を生成するセンテンス補間(Sentence Interpolation)と、それに続く文の翻訳の例として、先行文の翻訳を用いてこの連鎖を逐次翻訳するグラディアルMT(Gradual MT)という2つの手法を採用している。 このアプローチにより、Hindi(8.26), Swahili(7.10), Bengali(6.97), Marathi(13.03)のような低リソース言語において、複数の言語に対する様々なLLMのxCOMETスコアの大幅な向上が観察される。 本手法は,余分なトレーニングを伴わずにLLMの性能を向上させる実践的な方法を示す。

関連論文リスト

• Analyzing Context Contributions in LLM-based Machine Translation [21.95318929582271]
  大規模言語モデル(LLM)は機械翻訳(MT)において最先端の性能を達成した 本研究は,LLM が翻訳文を生成する際に,少数ショット例やソーステキストなど,様々な文脈をどう利用するかを検討する。 我々の研究は、標準エンコーダ・デコーダMTモデルで知られているものを超えるLCMベースのMTの内部動作に光を当てた。
  論文  参考訳（メタデータ） (2024-10-21T17:51:41Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Do GPTs Produce Less Literal Translations? [20.095646048167612]
  大規模言語モデル(LLM)は多くの自然言語生成や理解タスクに対処できる汎用言語モデルとして登場した。 GPTからの英語(E-X)からの翻訳はリテラルが低い傾向にあり、機械翻訳の品質指標に類似またはより良いスコアが示されることがわかりました。
  論文  参考訳（メタデータ） (2023-05-26T10:38:31Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)
• Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation [91.57514888410205]
  大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。 LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。 LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。