論文の概要: Does Few-Shot Learning Help LLM Performance in Code Synthesis?

• arxiv url: http://arxiv.org/abs/2412.02906v1
• Date: Tue, 03 Dec 2024 23:19:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:10:27.782818
• Title: Does Few-Shot Learning Help LLM Performance in Code Synthesis?
• Title（参考訳）: コード合成におけるLLM性能の学習効果は少ないか?
• Authors: Derek Xu, Tong Xie, Botao Xia, Haoyu Li, Yunsheng Bai, Yizhou Sun, Wei Wang,
• Abstract要約: この研究は、ほとんどのコード生成プロンプトにあるいくつかの例に焦点を当てている。 本研究は,少数例を選択するための2つのアプローチ,モデルフリー手法CODEEXEMPLAR-FREE,モデルベース手法CODEEXEMPLAR-BASEDを提案する。 どちらの方法も、人気のあるHumanEval+コーディングベンチマークでCodeLlamaのコーディング能力を大幅に改善した。
• 参考スコア（独自算出の注目度）: 40.35198206199065
• License:
• Abstract: Large language models (LLMs) have made significant strides at code generation through improved model design, training, and chain-of-thought. However, prompt-level optimizations remain an important yet under-explored aspect of LLMs for coding. This work focuses on the few-shot examples present in most code generation prompts, offering a systematic study on whether few-shot examples improve LLM's coding capabilities, which few-shot examples have the largest impact, and how to select impactful examples. Our work offers 2 approaches for selecting few-shot examples, a model-free method, CODEEXEMPLAR-FREE, and a model-based method, CODEEXEMPLAR-BASED. The 2 methods offer a trade-off between improved performance and reliance on training data and interpretability. Both methods significantly improve CodeLlama's coding ability across the popular HumanEval+ coding benchmark. In summary, our work provides valuable insights into how to pick few-shot examples in code generation prompts to improve LLM code generation capabilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、モデル設計、トレーニング、チェーン・オブ・思想の改善を通じて、コード生成において大きな進歩を遂げている。 しかし、プロンプトレベルの最適化は、コーディングにおけるLLMの重要な部分でありながら、未探索の側面である。 この研究は、ほとんどのコード生成プロンプトで見られる少数ショットの例に焦点を当て、少数ショットの例がLLMのコーディング能力を改善するかどうか、最も大きなインパクトを持つ少数ショットの例、そして影響のある例を選択する方法に関する体系的な研究を提供する。 本研究は,少数例を選択するための2つのアプローチ,モデルフリー手法CODEEXEMPLAR-FREE,モデルベース手法CODEEXEMPLAR-BASEDを提案する。 2つの方法は、改善されたパフォーマンスと、トレーニングデータと解釈可能性への依存の間のトレードオフを提供する。 どちらの方法も、人気のあるHumanEval+コーディングベンチマークでCodeLlamaのコーディング能力を大幅に改善した。 まとめると、私たちの研究は、LLMコード生成機能を改善するためにコード生成プロンプトのわずかな例を選ぶ方法に関する貴重な洞察を提供する。

関連論文リスト

• Leveraging Metamemory Mechanisms for Enhanced Data-Free Code Generation in LLMs [44.80420740455364]
  M2WFは、大規模言語モデルのワンタイムコード生成を改善するためのフレームワークである。 従来の方法とは異なり、キュレートされたデータへの依存を最小限に抑え、さまざまなコーディングシナリオに適応する。 コードとフレームワークはGitHubとHuggingFaceで公開されている。
  論文  参考訳（メタデータ） (2025-01-14T07:16:43Z)
• Selective Shot Learning for Code Explanation [4.773934813915903]
  Selective Shot Learning(SSL)の最先端のアプローチには、トークンベースのメソッドと埋め込みベースのメソッドが含まれる。 本稿では,実例選択にエンティティ情報を利用するSSL_nerを提案する。 2つのデータセットにわたる最先端メソッドに対するSSL_nerの有効性を示す。
  論文  参考訳（メタデータ） (2024-12-17T12:26:14Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• EPiC: Cost-effective Search-based Prompt Engineering of LLMs for Code Generation [8.009881267479189]
  大規模言語モデル(LLM)は、特にコード生成において、様々なソフトウェア開発タスクで利用が増加している。 我々は、コードのための進化的プロンプトエンジニアリング(EPiC)という別のアプローチを提案し、高品質なコードを生成するより良いプロンプトに向けて、元のプロンプトを進化させる。 最先端(SOTA)LLMベースのコード生成モデルに対する評価は,コスト効率の観点から,EPiCがすべてのベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-08-20T21:15:36Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• SEED: Customize Large Language Models with Sample-Efficient Adaptation for Code Generation [35.88318116340547]
  コード生成のための誤り駆動学習を用いたサンプル効率適応のためのSEEDという新しい適応手法を提案する。 複数のコード生成ベンチマークでPass@1の平均相対改善率は54.7%である。
  論文  参考訳（メタデータ） (2024-02-29T16:09:02Z)
• DolphCoder: Echo-Locating Code Large Language Models with Diverse and Multi-Objective Instruction Tuning [36.78560777629329]
  コード生成を自己評価する多種多様な命令モデル(DolphCoder)を導入する。 多様な命令ターゲットを学習し、コード生成能力を高めるためにコード評価の目的を組み合わせる。 本モデルは,HumanEvalおよびMBPPベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-14T12:34:58Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。