論文の概要: On the Effectiveness of Large Language Models in Domain-Specific Code
Generation
- arxiv url: http://arxiv.org/abs/2312.01639v2
- Date: Tue, 12 Mar 2024 05:15:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 01:16:45.465235
- Title: On the Effectiveness of Large Language Models in Domain-Specific Code
Generation
- Title(参考訳): ドメイン特化コード生成における大規模言語モデルの有効性について
- Authors: Meng Chen, Hongyu Zhang, Chengcheng Wan, Zhao Wei, Yong Xu, Juhong
Wang, Xiaodong Gu
- Abstract要約: ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
本稿では,ドメイン固有コード生成におけるLLMの詳細な研究を行う。
コード生成プロセスにAPI知識を効率的に組み込む方法について検討する。
- 参考スコア(独自算出の注目度): 23.33794049723382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) such as ChatGPT have shown remarkable
capabilities in code generation. Despite the great achievement, they rely on
enormous training data to acquire a broad spectrum of open-domain knowledge.
Besides, their evaluation revolves around open-domain benchmarks like
HumanEval, which primarily consist of programming contests. Therefore, it is
hard to fully characterize the intricacies and challenges associated with
particular domains (e.g., web, game, and math). In this paper, we conduct an
in-depth study of the LLMs in domain-specific code generation. Our results
demonstrate that LLMs exhibit sub-optimal performance in generating
domain-specific code, due to their limited proficiency in utilizing
domain-specific libraries. We further observe that incorporating API knowledge
as prompts can empower LLMs to generate more professional code. Based on these
findings, we further investigate how to efficiently incorporate API knowledge
into the code generation process. We experiment with three strategies for
incorporating domain knowledge, namely, external knowledge inquirer,
chain-of-thought prompting, and chain-of-thought fine-tuning. We refer to these
strategies as a new code generation approach called DomCoder. Experimental
results show that all strategies of DomCoder lead to improvement in the
effectiveness of domain-specific code generation under certain settings. The
results also show that there is still ample room for further improvement, based
on which we suggest possible future works.
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
大きな成果にもかかわらず、彼らは広大なオープンドメイン知識を得るために巨大なトレーニングデータに頼る。
さらにその評価は、主にプログラミングコンテストで構成されるhumanevalのようなオープンドメインベンチマークを中心に展開されている。
したがって、特定の領域(例えば、ウェブ、ゲーム、数学)に関連する複雑さと課題を完全に特徴づけるのは困難である。
本稿では,ドメイン固有コード生成におけるLLMの詳細な研究を行う。
その結果, LLMは, ドメイン固有ライブラリの利用能力に限界があるため, ドメイン固有コードの生成において準最適性能を示すことがわかった。
さらに、API知識をプロンプトとして組み込むことで、LLMがよりプロフェッショナルなコードを生成することができることを観察する。
これらの知見に基づいて,コード生成プロセスにAPI知識を効率的に組み込む方法について検討する。
ドメイン知識、すなわち外部知識の問い合わせ、思考の連鎖、思考の連鎖という3つの戦略を実験する。
これらの戦略をdomcoderと呼ばれる新しいコード生成アプローチと呼びます。
実験の結果,DomCoderのすべての戦略が,特定の設定下でのドメイン固有コード生成の有効性の向上につながることが示された。
また,今後の作業の可能性にも基づいて,さらなる改善の余地が十分にあることも示唆した。
関連論文リスト
- PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of
LLMs [51.17542331993448]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - ARKS: Active Retrieval in Knowledge Soup for Code Generation [18.22108704150575]
本稿では,コードのための大規模言語モデルを一般化するための高度な戦略である,知識検索におけるActive Retrieval(ARKS)を紹介する。
我々は、クエリを反復的に洗練し、知識のスープを更新するアクティブな検索戦略を採用している。
ChatGPTとCodeLlamaの実験結果から,LDM上でのARKSの平均実行精度が大幅に向上した。
論文 参考訳(メタデータ) (2024-02-19T17:37:28Z) - Can ChatGPT Support Developers? An Empirical Evaluation of Large
Language Models for Code Generation [3.204337275008157]
開発者によるChatGPTとの会話から収集したデータセットであるDevGPTにおける会話の実証分析を行った。
この結果から,LLM生成コードを使用する現在の実践は,高レベルな概念を示すか,ドキュメントに例を示すかのどちらかに制限されていることが示唆された。
論文 参考訳(メタデータ) (2024-02-18T20:48:09Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳(メタデータ) (2023-11-17T16:09:10Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Domain Specialization as the Key to Make Large Language Models
Disruptive: A Comprehensive Survey [90.81725789120534]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z) - Empower Large Language Model to Perform Better on Industrial
Domain-Specific Question Answering [36.31193273252256]
大規模言語モデル(LLM)は、オープンドメインタスクにおいて大きな成果を上げている。
しかし、実際の産業ドメイン固有のシナリオにおけるパフォーマンスは、特定のドメイン知識が欠如しているため平均的です。
私たちは、Microsoft製品と顧客が遭遇するIT技術的な問題を中心にした、MSQA(QA)データセットのベンチマークを提供します。
論文 参考訳(メタデータ) (2023-05-19T09:23:25Z) - Large Language Models are Few-Shot Summarizers: Multi-Intent Comment
Generation via In-Context Learning [34.006227676170504]
本研究では,大規模言語モデル(LLM)を用いて,開発者の多様な意図を満たすコメントを生成することの実現可能性について検討する。
2つの大規模なデータセットの実験は、私たちの洞察の理論的根拠を示しています。
論文 参考訳(メタデータ) (2023-04-22T12:26:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。