論文の概要: No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

• arxiv url: http://arxiv.org/abs/2606.16827v1
• Date: Mon, 15 Jun 2026 15:08:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.658773
• Title: No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages
• Title（参考訳）: リソースなし、ベンチマークなし、問題なし? オープンソース言語におけるコード生成のためのLLMの評価と改善
• Authors: Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota,
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクの自動化を進歩させた。 この分野のほとんどの研究は、豊富なトレーニングデータから恩恵を受ける、PythonやJavaのようなオープンソースの言語に焦点を当てている。 LLMがほとんど見ていないオープンソース言語では、トレーニングデータはほとんど研究されていない。
• 参考スコア（独自算出の注目度）: 50.536461876371526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have significantly advanced the automation of software engineering tasks. One prominent example is code generation, where an LLM produces code in a specified programming language based on a natural language description. Most research in this area has focused on high-resource languages, such as Python or Java, which benefit from abundant training data. A smaller body of work has explored low-resource languages, which are underrepresented in training corpora. In contrast, no-resource languages for which LLMs have seen virtually no training data remain largely unstudied. These languages often emerge in industry, where organizations develop proprietary or domain-specific languages unsupported by commercial tools like GitHub Copilot. This results in the need for companies to deploy their own in-house code recommenders. To investigate possible solutions in this context, we build and release three code generation benchmarks for no-resource languages, based on two recently proposed programming languages for which very little training data is available. Using these benchmarks, we experiment several solutions to teach LLMs about no-resource languages, including prompt-based techniques as well as pre-training and fine-tuning exploiting the little data available. While further pre-training gives the largest performance gains for no-resource languages, applying it directly to instruction-tuned models harms their ability to follow instructions. To address this, we start from a base model, further pre-training it on the target language, and then inject instruction-following capabilities via weight diff transfer from an instruction model. Such an approach significantly improves code generation capabilities in no-resource settings, allowing companies to cheaply deploy a specialized instruct model without dealing with the computational cost of instruction fine-tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクの自動化を大幅に進歩させた。 1つの顕著な例は、LLMが自然言語記述に基づいて特定のプログラミング言語でコードを生成するコード生成である。 この分野のほとんどの研究は、豊富なトレーニングデータから恩恵を受ける、PythonやJavaのようなオープンソースの言語に焦点を当てている。 より小さな研究機関は、コーパスのトレーニングにおいて不足している低リソース言語を調査してきた。 対照的に、LLMが事実上トレーニングデータを目にしたオープンソース言語はほとんど研究されていない。 これらの言語は、GitHub Copilotのような商用ツールによってサポートされていない、プロプライエタリまたはドメイン固有の言語を開発する業界でしばしば現れます。 これにより、企業は独自のコードレコメンデータを社内に配置する必要がある。 この文脈で可能な解決策を調査するために、我々は、非常に少ないトレーニングデータを持つ2つの最近提案されたプログラミング言語に基づいて、非オープンソース言語のための3つのコード生成ベンチマークを構築し、リリースする。 これらのベンチマークを用いて、我々は、プロンプトベースの技術や、利用可能な小さなデータを利用した事前学習や微調整を含む、非オープンソース言語についてLLMを教えるためのいくつかのソリューションを実験した。 さらなる事前トレーニングは、非リソース言語で最大のパフォーマンス向上をもたらすが、命令チューニングモデルに直接適用することは、命令に従う能力を損なう。 これを解決するために、ベースモデルから始まり、ターゲット言語でさらに事前訓練を行い、次に命令モデルから重み付け差分変換によって命令追従機能を注入する。 このようなアプローチは、非リソース環境でのコード生成能力を大幅に改善し、企業は、微調整の計算コストに対処することなく、特別なインストラクションモデルを安価にデプロイできる。

関連論文リスト

• CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language [10.19354135187181]
  我々は,低リソース汎用言語であるCangjieの汚染のないベンチマークであるCangjieBenchを紹介する。 ベンチマークは、HumanEvalとClassEvalから手作業で翻訳された248の高品質なサンプルで構成されている。 実験の結果、ダイレクトジェネレーションは性能が悪く、シンタクス制約ジェネレーションは精度と計算コストの最良のトレードオフを提供することがわかった。
  論文  参考訳（メタデータ） (2026-03-15T17:35:03Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Cross-lingual Transfer in Programming Languages: An Extensive Empirical Study [5.350495525141013]
  大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて最先端のパフォーマンスを達成した。 RustやSwiftといった重要な言語は、公開コードに制限があるため、低リソースのままである。 対象とタスクに対して最適なソース言語を推定する性能予測モデルを構築した。
  論文  参考訳（メタデータ） (2023-10-25T19:04:33Z)
• Knowledge Transfer from High-Resource to Low-Resource Programming Languages for Code LLMs [2.9242435458494445]
  本稿では,半合成データを用いた低リソース言語上でのコードLLMの性能向上に有効な手法を提案する。 このアプローチを適用して,Julia,Lua,OCaml,R,Racketの各トレーニング項目を数万個生成する。
  論文  参考訳（メタデータ） (2023-08-19T03:19:01Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning [66.31509106146605]
  命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。 しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。 InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
  論文  参考訳（メタデータ） (2023-05-23T02:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。