論文の概要: What Builds Effective In-Context Examples for Code Generation?

• arxiv url: http://arxiv.org/abs/2508.06414v1
• Date: Fri, 08 Aug 2025 15:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.293754
• Title: What Builds Effective In-Context Examples for Code Generation?
• Title（参考訳）: コード生成に有効なインコンテキストの例は何か?
• Authors: Dongze Li, Songqiang Chen, Jialun Cao, Shing-Chi Cheung,
• Abstract要約: In-Context Learning (ICL) は、LLM(Large Language Models)のコード生成能力を向上するための有望なソリューションとして登場した。 本稿では,制御アブレーション研究を通じて,様々なコード特徴がICLに与える影響をコード例で系統的に検討する。
• 参考スコア（独自算出の注目度）: 8.536350550103057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-Context Learning (ICL) has emerged as a promising solution to enhance the code generation capabilities of Large Language Models (LLMs), which incorporates code examples inside the prompt to let LLMs learn from demonstrations. However, despite the substantial effectiveness of the code example-based ICL approach, the specific features (e.g., identifier naming styles, code formatting, solution insight) within the ICL-provided code examples that significantly contribute to the ICL's effectiveness remain unclear. This paper systematically investigates the impact of various code features on ICL with code examples through controlled ablation studies. Our findings reveal that the appropriate naming of variables and functions is crucial for effective code generation, with their elimination leading to performance decreases of up to 30 percentage points. We further demonstrate that LLMs prioritize semantically meaningful identifier names over formatting conventions, with language-specific preferences regarding identifier verbosity. Additionally, our investigation into ICL's potential for enhancing reflection and inference capabilities reveals that current LLMs struggle to extract generalizable problem-solving insights from similar code solutions, despite being capable of utilizing direct information effectively. These findings are expected to provide valuable insights for optimizing ICL systems in code generation applications and highlight fundamental challenges in reflection-based learning for code generation tasks.
• Abstract（参考訳）: In-Context Learning (ICL)は、LLM(Large Language Models)のコード生成能力を向上するための有望なソリューションとして登場した。 しかし、コード例ベースのICLアプローチの実質的な効果にもかかわらず、ICLが提供するコード例の中の特定の機能(例えば、識別子の命名スタイル、コードフォーマッティング、ソリューションインサイト)は、ICLの有効性に大きく貢献する。 本稿では,制御アブレーション研究を通じて,様々なコード特徴がICLに与える影響をコード例で系統的に検討する。 その結果,変数や関数の適切な命名はコード生成に不可欠であり,その除去によって性能が最大30パーセント低下することが判明した。 さらに, LLM が意味論的に意味のある識別子名よりも, 識別子の冗長性に関する言語固有の嗜好を優先することが実証された。 さらに、ICLのリフレクションと推論能力の向上の可能性について検討した結果、現在のLCMでは、直接情報を効果的に活用できるにも関わらず、類似のコードソリューションから一般化可能な問題解決の洞察を引き出すのに苦労していることが明らかとなった。 これらの発見は、コード生成アプリケーションにおけるICLシステムの最適化に有用な洞察を与え、コード生成タスクにおけるリフレクションベースの学習における根本的な課題を強調することが期待されている。

関連論文リスト

• MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning [53.02571749383208]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。 Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-22T04:54:27Z)
• SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors [5.247363735860479]
  大規模言語モデル(LLM)は、コードに関連するタスクにおいて顕著な機能を示した。 LLMが多様なプログラムを理解し処理する能力を考えると、汎用的なサロゲートモデルを構築する上で有望な方向性を示す。 SURGEは、1160ドル(約1万1000円)の価格問題で、8ドル(約8万3000円)の鍵となる側面をカバーしたベンチマークです。 オープンソースおよびプロプライエタリ LLM の実証分析を通じて,スケーリング法則,データ効率,予測精度を検討した。
  論文  参考訳（メタデータ） (2025-02-16T15:38:19Z)
• The First Prompt Counts the Most! An Evaluation of Large Language Models on Iterative Example-Based Code Generation [33.77058239791512]
  本稿では,Large Language Models (LLMs) を用いたサンプルベースコード生成の総合的研究について述べる。 我々は、反復評価フレームワークを採用し、サンプルベースのコード生成の目的を2つの連続的なサブオブジェクトとして定式化する。 我々は、172の多様な目標関数のベンチマークを用いて、最先端のLLMを6つ評価した。
  論文  参考訳（メタデータ） (2024-11-11T08:05:37Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• What Makes Good In-context Demonstrations for Code Intelligence Tasks with LLMs? [60.668318972782295]
  大規模言語モデルは、文脈内学習(ICL)の能力を示している。 ICLはタスク命令といくつかの例をデモとして使用し、次に予測を行うために言語モデルにデモを入力します。 コードに関連するタスクに対して,優れたデモを構築する方法について,体系的に検討することが重要である。
  論文  参考訳（メタデータ） (2023-04-15T15:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。