Fugu-MT 論文翻訳(概要): A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models

論文の概要: A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models

arxiv url: http://arxiv.org/abs/2409.15228v2
Date: Tue, 24 Sep 2024 17:13:43 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 13:52:58.726684
Title: A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models
Title（参考訳）: 大規模言語モデルにおけるAPI指向コード生成のための包括的フレームワーク
Authors: Yixi Wu, Pengfei He, Zehao Wang, Shaowei Wang, Yuan Tian, Tse-Hsun, Chen,
Abstract要約: GitHub CopilotやChatGPTのような大規模言語モデル(LLM)は、コード生成の強力なツールとして登場した。 API指向コード生成におけるLLMの機能を評価するために設計されたフレームワークであるAutoAPIEvalを提案する。
参考スコア（独自算出の注目度）: 51.197505365956694
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) like GitHub Copilot and ChatGPT have emerged as powerful tools for code generation, significantly enhancing productivity and accelerating software development. However, existing benchmarks primarily focus on general code generation without considering API-oriented code generation, i.e., generating code that invokes APIs from specific libraries. Given the growing demand for API-oriented code generation, there is a pressing need for a systematic and automated approach to evaluate LLM on API-oriented code generation. To address this gap, we propose AutoAPIEval, a lightweight and automated framework designed to evaluate the capabilities of LLMs in API-oriented code generation. Our framework works with any library that provides API documentation and focuses on two unit tasks: API recommendation and code example generation, along with four metrics to evaluate the generated APIs and code examples, such as the proportion of incorrect API recommendations for Task 1, and the proportion of code examples where no specific API is invoked and uncompilable/unexecutable code examples for Task 2. In addition, we conducted a case study on three LLMs (ChatGPT, MagiCoder, and DeepSeek Coder) and Java Runtime Environment 8 to demonstrate the framework's effectiveness. Our findings reveal substantial variability in LLM performance across tasks, with ChatGPT adhering better to instructions, while sharing similar effectiveness in code example generation with its counterparts (i.e., MagiCoder and DeekSeek Coder). We also identify key factors associated with code quality, such as API popularity and model confidence, and build classifiers that achieve high accuracy in detecting incorrect API recommendations and erroneous code examples. Retrieval-augmented generation enhances the quality of code generated by LLMs, though its effectiveness varies across different LLMs.
Abstract（参考訳）: GitHub CopilotやChatGPTといった大規模言語モデル(LLM)は、コード生成の強力なツールとして登場し、生産性を大幅に向上し、ソフトウェア開発を加速しています。しかし、既存のベンチマークは主にAPI指向のコード生成、すなわち特定のライブラリからAPIを呼び出すコードを生成することを考慮せずに、一般的なコード生成に焦点を当てている。 API指向のコード生成に対する需要が高まる中、API指向のコード生成においてLLMを評価するための体系的かつ自動化されたアプローチの必要性が高まっている。このギャップに対処するために、API指向コード生成におけるLLMの機能を評価するために設計された軽量で自動化されたフレームワークであるAutoAPIEvalを提案する。 APIレコメンデーションとコード例生成、生成したAPIとコード例を評価するための4つのメトリクス、例えばTask 1の不正なAPIレコメンデーションの割合、特定のAPIが呼び出されないコード例の割合、Task 2の非コンパイル/実行不可能なコード例などです。さらに、我々は3つのLCM(ChatGPT、MagiCoder、DeepSeek Coder)とJava Runtime Environment 8のケーススタディを行い、フレームワークの有効性を実証した。この結果から,ChatGPTは命令に順応し,コード例生成において同様の効果(MagiCoderとDeekSeek Coder)を共有できることがわかった。また,不正確なAPIレコメンデーションや誤コード例の検出において高精度なビルド分類器や,APIの人気やモデルの信頼性といった,コード品質に関連する重要な要因も同定する。 Retrieval-augmented generation は LLM によって生成されるコードの品質を向上させるが、その効果は LLM によって異なる。

関連論文リスト

Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks [0.8274693573069442]
この研究は、自動生成されたベンチマークを利用して、LaaJの実装を生成および評価する方法論を導入する。ベンチマークは、LaaJの開発と検証と、LaaJを使用してLLMコード関連ソリューションの検証とテストの両方に使用される。私たちのアプローチは、高品質なコードタスクソリューションの作成を可能にします。
論文参考訳（メタデータ） (2024-10-28T14:34:36Z)
A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
API提案は、現代のソフトウェア開発において重要なタスクである。大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
論文参考訳（メタデータ） (2024-09-20T03:12:35Z)
FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文参考訳（メタデータ） (2024-07-18T23:44:02Z)
VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文参考訳（メタデータ） (2024-06-11T16:15:06Z)
Are Human Rules Necessary? Generating Reusable APIs with CoT Reasoning and In-Context Learning [14.351476383642016]
そこで我々は,Stack OverflowコードスニペットのAPIzationを自動的に実行する,Code2APIという新しいアプローチを提案する。 Code2APIは、追加のモデルトレーニングや手作業のルールを必要としない。他の外部ツールに頼ることなく、パーソナルコンピュータに簡単にデプロイできる。
論文参考訳（メタデータ） (2024-05-06T14:22:17Z)
Octopus: On-device language model for function calling of software APIs [9.78611123915888]
大きな言語モデル(LLM)は、高度なテキスト処理と生成能力のために重要な役割を果たす。本研究は,ソフトウェアAPIの起動において,デバイス上でのLCMを活用するための新たな戦略を提案する。
論文参考訳（メタデータ） (2024-04-02T01:29:28Z)
CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文参考訳（メタデータ） (2023-09-29T17:40:26Z)
Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation [8.575560293086289]
大規模言語モデル(LLM)は、自然言語を理解し、プログラミングコードを生成する素晴らしい能力を示している。生成されたコードにおけるAPIの誤用は、リソースリークやプログラムクラッシュといった深刻な問題を引き起こす可能性がある。
論文参考訳（メタデータ） (2023-08-20T18:36:28Z)
Private-Library-Oriented Code Generation with Large Language Models [52.73999698194344]
本稿では,大規模言語モデル(LLM)をプライベートライブラリのコード生成に活用することに焦点を当てる。プログラマがプライベートコードを書く過程をエミュレートする新しいフレームワークを提案する。 TorchDataEval、TorchDataComplexEval、MonkeyEval、BeatNumEvalの4つのプライベートライブラリベンチマークを作成しました。
論文参考訳（メタデータ） (2023-07-28T07:43:13Z)
CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
論文参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。