論文の概要: Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2506.19187v1
• Date: Mon, 23 Jun 2025 23:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.414235
• Title: Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages
• Title（参考訳）: Prompt, Translate, Fine-Tune, Re-Initialize, Instruction-Tune? 低リソース言語における文脈学習にLLMを適用する
• Authors: Christopher Toukmaji, Jeffrey Flanigan,
• Abstract要約: この研究は、5つの多様なターゲット言語、3つのベースLLM、7つの下流タスク、4,100GPUトレーニング時間(9,900以上のTFLOP)にまたがる。 以上の結果から,数発のプロンプトと翻訳テストの設定は勾配に基づく適応法よりも優れる傾向が示唆された。 我々の知る限り、この研究は、列車計算と考慮された適応手法の数に関して、低リソース言語における文脈内学習における最大の研究である。
• 参考スコア（独自算出の注目度）: 6.780441755361993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are typically trained in high-resource languages, and tasks in lower-resourced languages tend to underperform the higher-resource language counterparts for in-context learning. Despite the large body of work on prompting settings, it is still unclear how LLMs should be adapted cross-lingually specifically for in-context learning in the low-resource target languages. We perform a comprehensive study spanning five diverse target languages, three base LLMs, and seven downstream tasks spanning over 4,100 GPU training hours (9,900+ TFLOPs) across various adaptation techniques: few-shot prompting, translate-test, fine-tuning, embedding re-initialization, and instruction fine-tuning. Our results show that the few-shot prompting and translate-test settings tend to heavily outperform the gradient-based adaptation methods. To better understand this discrepancy, we design a novel metric, Valid Output Recall (VOR), and analyze model outputs to empirically attribute the degradation of these trained models to catastrophic forgetting. To the extent of our knowledge, this is the largest study done on in-context learning for low-resource languages with respect to train compute and number of adaptation techniques considered. We make all our datasets and trained models available for public use.
• Abstract（参考訳）: LLMは通常、高リソース言語で訓練されており、低リソース言語のタスクは、高リソース言語のタスクよりも、コンテキスト内学習の方がパフォーマンスが劣る傾向にある。 設定のプロンプトに関する多くの作業にもかかわらず、低リソースターゲット言語におけるテキスト内学習にLLMを言語横断的にどのように適用すべきかは、まだ不明である。 我々は,5つの多様なターゲット言語,3つのベースLLM,および4,100以上のGPUトレーニング時間(9,900以上のTFLOP)にまたがる7つの下流タスクを対象とした総合的研究を行った。 以上の結果から,数発のプロンプトと翻訳テストの設定は勾配に基づく適応法よりも優れる傾向が示唆された。 この相違をよりよく理解するために、我々は新しいメトリクスであるVOR(Valid Output Recall)を設計し、これらのトレーニングされたモデルの劣化を破滅的な忘れを経験的に評価するためにモデル出力を分析する。 我々の知る限り、この研究は、列車計算と考慮された適応手法の数に関して、低リソース言語における文脈内学習における最大の研究である。 データセットとトレーニングされたモデルはすべて、パブリック使用用に公開しています。

関連論文リスト

• Improving Multilingual Math Reasoning for African Languages [49.27985213689457]
  データタイプ(翻訳と合成)、トレーニングステージ(事前学習と後学習)、その他のモデル適応構成の異なる組み合わせを評価する実験を行う。 実験では,Llama 3.1 モデルファミリをベースモデルとして,数学的推論タスクに着目した。
  論文  参考訳（メタデータ） (2025-05-26T11:35:01Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes [9.254047358707014]
  本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語に翻訳する多言語インストラクション・チューニングデータセット(MITS)を紹介する。 次に,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。 提案手法は,Vicuna Benchmark データセットの低リソース言語に対して 82% のスコアで GPT-4 を圧縮し,命令チューニングと比較して性能を2倍にすることを示す。
  論文  参考訳（メタデータ） (2023-11-17T06:55:32Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。