論文の概要: Enhancing Code Generation for Low-Resource Languages: No Silver Bullet

• arxiv url: http://arxiv.org/abs/2501.19085v1
• Date: Fri, 31 Jan 2025 12:23:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:58.338425
• Title: Enhancing Code Generation for Low-Resource Languages: No Silver Bullet
• Title（参考訳）: 低リソース言語のためのコード生成の強化:銀の弾丸は不要
• Authors: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota,
• Abstract要約: 大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
• 参考スコア（独自算出の注目度）: 55.39571645315926
• License:
• Abstract: The advent of Large Language Models (LLMs) has significantly advanced the field of automated code generation. LLMs rely on large and diverse datasets to learn syntax, semantics, and usage patterns of programming languages. For low-resource languages (i.e., niche programming languages characterized by the scarcity of training data), the limited availability of such data hampers the models' ability to generalize effectively, resulting in poorer code generation performance as compared to high-resource languages. For this reason, there is a quest for techniques able to close this performance gap. We present an empirical study investigating the effectiveness of several approaches for boosting LLMs' performance on low-resource languages, namely: (i) a classic fine-tuning, which is however capped in size by the scarcity of training data; (ii) three variants of in-context learning, with prompts crafted to provide the LLM with additional information about the low-resource language (e.g., few-shot examples showcasing features of the targeted language); and (iii) a pre-training objective teaching the model how to translate between high- and low-resource languages. The context of our study are two low-resource languages (R and Racket) and six LLMs having different architectures and sizes. Our findings reveal that a fine-tuning is usually the best choice for smaller LLMs, possibly due to the fact that even a small dataset is sufficient to train their limited number of parameters. With the increase in size of the models, in-context learning becomes more and more effective, representing a safe and cheap bet (i.e., it always helps, but with different magnitudes). Differently, very large LLMs may deteriorate their performance on low-resource languages when fine-tuning is performed, possibly due to the lack of enough data needed to effectively update their weights.
• Abstract（参考訳）: LLM(Large Language Models)の出現は、自動コード生成の分野を大きく前進させた。 LLMは、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語(すなわち、トレーニングデータの不足によって特徴づけられるニッチなプログラミング言語)では、そのようなデータの可用性は、モデルが効果的に一般化する能力を損なうため、高リソース言語と比較してコード生成性能が低下する。 このため、このパフォーマンスギャップを埋めることのできるテクニックが求められている。 我々は,低リソース言語におけるLLMの性能向上のためのいくつかのアプローチの有効性について,実証的研究を行った。 一 古典的な微調整で、ただし、訓練データの不足により、大きさが制限されているもの (ii)低リソース言語に関する追加情報を提供するためのプロンプト(例:ターゲット言語の特徴を示す少数例)、及び (iii)高水準言語と低レベルの言語を翻訳する方法をモデルに教える事前学習目標。 我々の研究のコンテキストは、R言語とRacketの2つの低リソース言語と、異なるアーキテクチャとサイズを持つ6つのLLMである。 我々の研究結果によると、小さなデータセットでさえ限られた数のパラメータを訓練するのに十分であるという事実から、小型のLCMでは微調整が最適であることがわかった。 モデルのサイズが大きくなると、コンテキスト内学習はより効果的になり、安全で安価な賭け(つまり、常に役に立つが、大きさは異なる)を表すようになる。 異なることに、非常に大きなLLMは微調整を行う際に低リソース言語の性能を低下させる可能性がある。

関連論文リスト

• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Efficient Continual Pre-training of LLMs for Low-resource Languages [45.44796295841526]
  大規模コーパスからテキストのサブセットを選択するアルゴリズムを開発した。 さらなる改良を求めて,LLM語彙に含まれるトークンを選択する新しいアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-13T16:13:35Z)
• UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages [2.66269503676104]
  大規模言語モデル(LLM)は低リソース言語での性能が低い。 低リソース言語のためのテキストデータを効率的に収集する手法を提案する。 我々のアプローチであるUnifiedCrawlは、最小限の計算リソースを使用して共通のクローをフィルタし、抽出する。
  論文  参考訳（メタデータ） (2024-11-21T17:41:08Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。