論文の概要: SLM Finetuning for Natural Language to Domain Specific Code Generation in Production

• arxiv url: http://arxiv.org/abs/2604.09952v1
• Date: Fri, 10 Apr 2026 23:11:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.762267
• Title: SLM Finetuning for Natural Language to Domain Specific Code Generation in Production
• Title（参考訳）: 自然言語からドメイン固有コード生成のためのSLMファインタニング
• Authors: Renjini R. Nair, Damian K. Kowalczyk, Marco Gaudesi, Chhaya Methani,
• Abstract要約: 数十億のパラメータを持つ小さな言語モデルは、リソース効率が良いが、限られた推論、幻覚、より長いコンテキストの維持に悩まされる。 微調整は、ドメイン知識を直接モデルの重みに埋め込むことによって、タスク固有の精度を向上させる。 これらの結果から,小言語モデルを用いたタスク固有微調整は,ドメイン固有言語生成のための大規模言語モデルに対して,効率的で高速かつ費用対効果の高い代替手段となることが示唆された。
• 参考スコア（独自算出の注目度）: 0.2449909275410288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many applications today use large language models for code generation; however, production systems have strict latency requirements that can be difficult to meet with large models. Small language models with a few billion parameters are resource efficient but may suffer from limited reasoning, hallucinations, or poor retention of longer context. Fine tuning improves task specific accuracy by embedding domain knowledge directly into model weights, reducing reliance on runtime context. We previously implemented a baseline natural language to code generation approach using a retrieval augmented generation pipeline that dynamically selected few shot examples to embed domain specific language context for a large language model. In this study, we evaluate small language models for generating domain specific language from natural language by fine tuning variants of Mistral and other models on a dataset of natural language code pairs. Our results show that the fine-tuned models achieve improved performance and latency on test datasets compared to larger models. We also demonstrate that the trained model can be further fine-tuned for customer specific scenarios without degrading general performance, helping resolve production issues. Load testing followed by production deployment confirmed optimal performance in terms of latency and quality. These findings demonstrate that task specific fine tuning with small language models provides an efficient, faster, and cost-effective alternative to large language models for domain specific language generation.
• Abstract（参考訳）: 現在、多くのアプリケーションは、コード生成に大規模な言語モデルを使用しているが、プロダクションシステムには、大規模なモデルに対応するのが難しい厳格なレイテンシ要件がある。 数十億のパラメータを持つ小さな言語モデルは、リソース効率が良いが、限られた推論、幻覚、より長いコンテキストの維持に悩まされる。 微調整は、ドメイン知識を直接モデルの重みに埋め込むことでタスク固有の精度を改善し、実行時コンテキストへの依存を減らす。 我々は以前,大規模言語モデルのためのドメイン固有言語コンテキストを埋め込むために,動的にいくつかのショット例を選択した検索拡張生成パイプラインを用いて,ベースライン自然言語からコード生成アプローチを実装した。 本研究では、自然言語コードペアのデータセット上で、Mistralや他のモデルの変種を微調整することにより、自然言語からドメイン固有言語を生成するための小さな言語モデルを評価する。 実験結果から, 微調整モデルでは, 大規模モデルと比較して, テストデータセットの性能とレイテンシが向上していることがわかった。 また、トレーニングされたモデルは、一般的なパフォーマンスを損なうことなく、顧客固有のシナリオをさらに微調整し、生産問題の解決に役立てることができることを実証した。 負荷テストと本番環境のデプロイにより、レイテンシと品質の面で最適なパフォーマンスが確認された。 これらの結果から,小言語モデルを用いたタスク固有微調整は,ドメイン固有言語生成のための大規模言語モデルに対して,効率的で高速かつ費用対効果の高い代替手段となることが示唆された。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Deriving Coding-Specific Sub-Models from LLMs using Resource-Efficient Pruning [4.762390044282733]
  大規模言語モデル(LLM)は、様々な複雑なコード生成タスクにおいて、その例外的な性能を実証している。 このような要求を緩和するために、モデルプルーニング技術は、パラメータが著しく少ないよりコンパクトなモデルを作成するために使用される。 本研究では,非構造化プルーニングによる符号化特化サブモデルの効率的な導出について検討する。
  論文  参考訳（メタデータ） (2025-01-09T14:00:01Z)
• Benchmarking Large Language Model Capabilities for Conditional Generation [15.437176676169997]
  既存のアプリケーション固有の生成ベンチマークをPLMに適応させる方法について論じる。 PLMは異なるデータ体系に適用可能であり、複数の言語に一般化可能であることを示す。
  論文  参考訳（メタデータ） (2023-06-29T08:59:40Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
  私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。 ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-10T02:24:14Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
  ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。 我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
  論文  参考訳（メタデータ） (2020-06-02T11:57:53Z)
• Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning [70.81910984985683]
  本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。 5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
  論文  参考訳（メタデータ） (2020-04-08T06:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。