論文の概要: The First Prompt Counts the Most! An Evaluation of Large Language Models on Iterative Example-Based Code Generation

• arxiv url: http://arxiv.org/abs/2411.06774v2
• Date: Mon, 12 May 2025 16:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 14:13:12.572797
• Title: The First Prompt Counts the Most! An Evaluation of Large Language Models on Iterative Example-Based Code Generation
• Title（参考訳）: 第一のプロンプトが最多! 反復的なサンプルベースコード生成に基づく大規模言語モデルの評価
• Authors: Yingjie Fu, Bozhou Li, Linyi Li, Wentao Zhang, Tao Xie,
• Abstract要約: 本稿では,Large Language Models (LLMs) を用いたサンプルベースコード生成の総合的研究について述べる。 我々は、反復評価フレームワークを採用し、サンプルベースのコード生成の目的を2つの連続的なサブオブジェクトとして定式化する。 我々は、172の多様な目標関数のベンチマークを用いて、最先端のLLMを6つ評価した。
• 参考スコア（独自算出の注目度）: 33.77058239791512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The capabilities of Large Language Models (LLMs) in code generation have been extensively studied, particularly for implementing target functionalities from natural-language descriptions. Alternatively, input-output (I/O) examples provide an accessible, unambiguous, and flexible way to describe functionalities. However, their inherent diversity, opaqueness, and incompleteness impose greater challenges for understanding and implementing the target requirements. Therefore, generating code from I/O examples (i.e., example-based code generation) provides a new perspective, allowing us to additionally evaluate LLMs' capability to infer target functionalities from limited information and to process new-form requirements. However, related research about LLMs in example-based code generation remains largely unexplored. To fill this gap, this paper presents the first comprehensive study on example-based code generation using LLMs. We adopt an iterative evaluation framework and formalize the objective of example-based code generation as two sequential sub-objectives: generating code conforming to the given examples and generating code that successfully implements the target functionalities from (iteratively) given examples. We assess six state-of-the-art LLMs using a new benchmark of 172 diverse target functionalities. The results demonstrate that when requirements are described using iterative I/O examples rather than natural language, the LLMs' score decreases by over 60%, and the vast majority (even over 95%) of successfully implemented functionalities are achieved in the first round of the iterations. Furthermore, we also find that combining I/O examples with even imprecise and fragmental natural language descriptions greatly improves LLM performance, and the selection of initial I/O examples can also influence the score, suggesting opportunities for prompt optimization.
• Abstract（参考訳）: コード生成におけるLLM(Large Language Models)の能力は、特に自然言語記述からターゲット機能を実装するために広く研究されている。 あるいは、入出力(I/O)の例は、機能を記述するためのアクセシブルで曖昧で柔軟な方法を提供する。 しかし、その固有の多様性、不透明さ、不完全さは、対象とする要件を理解し、実装する上で大きな課題を課している。 したがって、I/O例からコードを生成する(例ベースのコード生成)ことは、新しい視点を提供する。 しかし、例ベースのコード生成におけるLLMに関する関連する研究はほとんど未調査である。 このギャップを埋めるために,LLMを用いたサンプルベースコード生成の総合的研究を行った。 我々は、反復的な評価フレームワークを採用し、サンプルベースのコード生成の目的を、2つのシーケンシャルなサブオブジェクトとして定式化する。 我々は、172の多様な目標関数のベンチマークを用いて、最先端のLLMを6つ評価した。 その結果、自然言語ではなく反復I/O例を用いて要件を記述した場合、LLMのスコアは60%以上減少し、実装された機能の大部分(95%以上)はイテレーションの第1ラウンドで達成されることがわかった。 さらに、不正確で断片的な自然言語記述とI/O例を組み合わせることで、LLMの性能が大幅に向上し、初期I/O例の選択がスコアに影響を与え、迅速な最適化の機会が示唆された。

関連論文リスト

• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Perplexed: Understanding When Large Language Models are Confused [3.4208414448496027]
  本稿では,言語モデルが複雑になる場所を探索するライブラリであるperplexedを紹介する。 Codetokenizerと呼ばれるコードモデルの解析を支援するために構築した追加ツールを使用して、コード生成のためのLLM(Large Language Models)に焦点を当てたケーススタディを実施しました。 我々の研究したコードLLMは、コードが構文的に正しくないコーディング構造において、最悪のパフォーマンスを示しました。
  論文  参考訳（メタデータ） (2024-04-09T22:03:39Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Large Language Models are Few-Shot Summarizers: Multi-Intent Comment Generation via In-Context Learning [34.006227676170504]
  本研究では,大規模言語モデル(LLM)を用いて,開発者の多様な意図を満たすコメントを生成することの実現可能性について検討する。 2つの大規模なデータセットの実験は、私たちの洞察の理論的根拠を示しています。
  論文  参考訳（メタデータ） (2023-04-22T12:26:24Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。