論文の概要: Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation

• arxiv url: http://arxiv.org/abs/2408.12780v1
• Date: Fri, 23 Aug 2024 00:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 16:19:03.068757
• Title: Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation
• Title（参考訳）: 品質と量 : 低リソース翻訳における大規模言語モデルの適用におけるデータスケールと多様性について
• Authors: Vivek Iyer, Bhavitvya Malik, Pavel Stepachev, Pinzhen Chen, Barry Haddow, Alexandra Birch,
• Abstract要約: 本稿では,Large Language Models (LLM) を低リソースの翻訳環境に適用するためにどうすればよいかを検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 これらの知見は、多言語 LLM-MT モデルへのスケールアップに有用であると考えています。
• 参考スコア（独自算出の注目度）: 62.202893186343935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent popularity of Large Language Models (LLMs) in Machine Translation (MT), their performance in low-resource translation still lags significantly behind Neural Machine Translation (NMT) models. In this paper, we explore what it would take to adapt LLMs for low-resource settings. In particular, we re-examine the role of two factors: a) the importance and application of parallel data, and b) diversity in Supervised Fine-Tuning (SFT). Recently, parallel data has been shown to be less important for MT using LLMs than in previous MT research. Similarly, diversity during SFT has been shown to promote significant transfer in LLMs across languages and tasks. However, for low-resource LLM-MT, we show that the opposite is true for both of these considerations: a) parallel data is critical during both pretraining and SFT, and b) diversity tends to cause interference, not transfer. Our experiments, conducted with 3 LLMs across 2 low-resourced language groups - indigenous American and North-East Indian - reveal consistent patterns in both cases, underscoring the generalizability of our findings. We believe these insights will be valuable for scaling to massively multilingual LLM-MT models that can effectively serve lower-resource languages.
• Abstract（参考訳）: 機械翻訳(MT)におけるLarge Language Models(LLMs)の最近の人気にもかかわらず、低リソース翻訳のパフォーマンスはニューラル機械翻訳(NMT)モデルに大きく遅れている。 本稿では,低リソース環境にLLMを適用するために何が必要かを考察する。 特に、我々は2つの要因の役割を再検討する。 a) 並列データの重要性と応用、及び ロ 監督微調整(SFT)の多様性 近年,LLM を用いた MT では,従来の MT 研究よりも並列データが重要でないことが示されている。 同様に、SFT中の多様性は言語やタスク間でのLLMの大幅な移動を促進することが示されている。 しかし、低リソースのLLM-MTでは、これら2つの考慮に対して逆が真であることが示される。 a) 並列データは、事前訓練とSFTの間に重要であり、 b) 多様性は、伝達ではなく、干渉を引き起こす傾向がある。 本研究は,2つの低リソース言語群(ネイティブアメリカンとノースイーストインディアン)に3つのLLMを用いて実施した。 これらの知見は,低リソース言語を効果的に活用可能な多言語 LLM-MT モデルへのスケールアップに有用であると考えています。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• A Preference-driven Paradigm for Enhanced Translation with Large Language Models [33.51585908894444]
  大規模言語モデル(LLM)は,少数の並列データのみを用いて,優れた翻訳性能を実現する。 SFTは単にトークンレベルで参照翻訳を模倣するようにモデルに指示し、参照に存在するノイズに弱い。 この高原を克服するために、Planet-Luceモデルに基づく嗜好に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:52:47Z)
• adaptMLLM: Fine-Tuning Multilingual Language Models on Low-Resource Languages with Integrated LLM Playgrounds [2.648836772989769]
  adaptMLLMは、機械翻訳のための細調整多言語言語モデル(MLLM)のためのオープンソースツールである。 モデル評価のためのさまざまなメトリクスと、アプリケーション内で直接変換サービスとしてモデルをデプロイする機能を提供する。 AdaptMLLMシステムはLoResMT 2021の共有タスクのベースラインと比較して大幅に改善された。
  論文  参考訳（メタデータ） (2024-03-04T14:49:18Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。