論文の概要: Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque

• arxiv url: http://arxiv.org/abs/2506.07597v1
• Date: Mon, 09 Jun 2025 09:54:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.89958
• Title: Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque
• Title（参考訳）: 低リソース言語のための大規模言語モデル指導:バスクの体系的研究
• Authors: Oscar Sainz, Naiara Perez, Julen Etxaniz, Joseba Fernandez de Landa, Itziar Aldabe, Iker García-Ferrero, Aimar Zabala, Ekhi Azurmendi, German Rigau, Eneko Agirre, Mikel Artetxe, Aitor Soroa,
• Abstract要約: ユーザ意図で言語モデルを教えるには、限られた言語セットでしか利用できない大規模な命令データセットが必要である。 対象言語におけるコーパス、既存のオープンウェイトな多言語ベースと指示されたバックボーンLLM、および指示されたバックボーンから合成された命令のみを利用できる低リソース言語に対する現実的なシナリオを仮定する。
• 参考スコア（独自算出の注目度）: 34.70526082204771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instructing language models with user intent requires large instruction datasets, which are only available for a limited set of languages. In this paper, we explore alternatives to conventional instruction adaptation pipelines in low-resource scenarios. We assume a realistic scenario for low-resource languages, where only the following are available: corpora in the target language, existing open-weight multilingual base and instructed backbone LLMs, and synthetically generated instructions sampled from the instructed backbone. We present a comprehensive set of experiments for Basque that systematically study different combinations of these components evaluated on benchmarks and human preferences from 1,680 participants. Our conclusions show that target language corpora are essential, with synthetic instructions yielding robust models, and, most importantly, that using as backbone an instruction-tuned model outperforms using a base non-instructed model, and improved results when scaling up. Using Llama 3.1 instruct 70B as backbone our model comes near frontier models of much larger sizes for Basque, without using any Basque data apart from the 1.2B word corpora. We release code, models, instruction datasets, and human preferences to support full reproducibility in future research on low-resource language adaptation.
• Abstract（参考訳）: ユーザ意図で言語モデルを教えるには、限られた言語セットでしか利用できない大規模な命令データセットが必要である。 本稿では,低リソースシナリオにおける従来の命令適応パイプラインの代替手法について検討する。 対象言語におけるコーパス、既存のオープンウェイトな多言語ベースと指示されたバックボーンLLM、および指示されたバックボーンから合成された命令のみを利用できる低リソース言語に対する現実的なシナリオを仮定する。 本稿では、ベンチマークと1,680人の人の嗜好に基づいて評価されたこれらのコンポーネントの異なる組み合わせを体系的に研究するバスクの総合的な実験について述べる。 結論として, ターゲット言語コーパスは, 頑健なモデルを生成する合成命令が必須であり, そして最も重要なことは, バックボーンとして命令調整モデルを用いることで, ベース非命令モデルにより性能が向上し, スケールアップ時の結果が改善されることである。 Llama 3.1インストラクション70Bをバックボーンとして使用することで、我々のモデルは、1.2Bワードコーパスとは別にバスクのデータを使用することなく、バスクのはるかに大きなフロンティアモデルに近いものになる。 我々は、コード、モデル、命令データセット、および人間の好みをリリースし、低リソース言語適応に関する将来の研究で完全な再現性をサポートする。

関連論文リスト

• Pipeline Analysis for Developing Instruct LLMs in Low-Resource Languages: A Case Study on Basque [2.867517731896504]
  大規模言語モデル(LLM)は一般的に英語のような資源に富む言語に最適化され、高リソース言語と低表現言語の間のギャップを悪化させる。 本研究は,低リソース言語,特にバスク語で指示に従うことができるモデルを開発するための戦略を,事前学習,指導指導,人間の嗜好との整合という3つの重要な段階に焦点をあてて詳細に分析する。
  論文  参考訳（メタデータ） (2024-12-18T15:05:59Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models [1.52292571922932]
  自然言語理解(NLU)モデルのための汎用多言語モデルフレームワークを提案する。 これらの多言語モデルが,言語固有のテストデータにまたがる単言語モデルと比較して,同等あるいは優れた性能に到達できることを示す。
  論文  参考訳（メタデータ） (2020-12-07T17:14:52Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• The Tatoeba Translation Challenge -- Realistic Data Sets for Low Resource and Multilingual MT [0.0]
  本稿では,何千もの言語ペアに対するトレーニングとテストデータを提供する機械翻訳のための新しいベンチマークの開発について述べる。 主な目標は、世界言語をより広範囲にカバーしたオープン翻訳ツールとモデルの開発をトリガーすることである。
  論文  参考訳（メタデータ） (2020-10-13T13:12:21Z)
• Parsing with Multilingual BERT, a Small Corpus, and a Small Treebank [46.626315158735615]
  事前訓練された多言語文脈表現は大きな成功を収めてきたが、事前訓練されたデータの制限のため、すべての言語品種に等しく適用されない。 このことは、ラベル付き未ラベルデータがモノリンガルモデルを効果的に訓練するにはあまりに限られている、これらのモデルに馴染みのない言語多様体にとっての課題である。 本稿では,低リソース環境に多言語モデルを適用するために,言語固有の事前学習と語彙拡張の利用を提案する。
  論文  参考訳（メタデータ） (2020-09-29T16:12:52Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。