論文の概要: ProjectEval: A Benchmark for Programming Agents Automated Evaluation on Project-Level Code Generation

• arxiv url: http://arxiv.org/abs/2503.07010v1
• Date: Mon, 10 Mar 2025 07:47:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:53:11.469501
• Title: ProjectEval: A Benchmark for Programming Agents Automated Evaluation on Project-Level Code Generation
• Title（参考訳）: ProjectEval: プロジェクトレベルのコード生成を自動評価するプログラムエージェントのベンチマーク
• Authors: Kaiyuan Liu, Youcheng Pan, Jing Li, Daojing He, Yang Xiang, Yexing Du, Tianrun Gao,
• Abstract要約: ユーザインタラクションをシミュレートしてプロジェクトレベルのコード生成を自動評価する,LLMエージェントのための新しいベンチマークであるProjectEvalを紹介する。 ProjectEvalは、実行のためのユーザインタラクションシミュレーションと、既存の客観的インジケータによるコード類似性によって、生成されたプロジェクトを評価することができる。 システム工学的なプロジェクトコード、プロジェクト全体の理解、総合的な分析能力が、LLMエージェントが実践的なプロジェクトを達成する鍵であることに気付きました。
• 参考スコア（独自算出の注目度）: 10.748303323995986
• License:
• Abstract: Recently, LLM agents have made rapid progress in improving their programming capabilities. However, existing benchmarks lack the ability to automatically evaluate from users' perspective, and also lack the explainability of the results of LLM agents' code generation capabilities. Thus, we introduce ProjectEval, a new benchmark for LLM agents project-level code generation's automated evaluation by simulating user interaction. ProjectEval is constructed by LLM with human reviewing. It has three different level inputs of natural languages or code skeletons. ProjectEval can evaluate the generated projects by user interaction simulation for execution, and by code similarity through existing objective indicators. Through ProjectEval, we find that systematic engineering project code, overall understanding of the project and comprehensive analysis capability are the keys for LLM agents to achieve practical projects. Our findings and benchmark provide valuable insights for developing more effective programming agents that can be deployed in future real-world production.
• Abstract（参考訳）: 近年,LLMエージェントのプログラミング能力の向上が急速に進んでいる。 しかし、既存のベンチマークでは、ユーザーの視点から自動的に評価する能力がなく、LLMエージェントのコード生成機能の結果の説明能力も欠如している。 そこで我々は,LLMエージェントのための新しいベンチマークであるProjectEvalを紹介し,ユーザインタラクションをシミュレートしてプロジェクトレベルのコード生成の自動評価を行う。 ProjectEvalはLLMによって構築され、人間によるレビューを行う。 自然言語やコードスケルトンには3つの異なるレベルインプットがある。 ProjectEvalは、実行のためのユーザインタラクションシミュレーションと、既存の客観的インジケータによるコード類似性によって、生成されたプロジェクトを評価することができる。 ProjectEvalを通じて、系統的なエンジニアリングプロジェクトコード、プロジェクトの全体的な理解、そして包括的な分析能力が、実用的なプロジェクトを達成するためのLLMエージェントの鍵であることがわかった。 私たちの発見とベンチマークは、将来の実運用にデプロイ可能な、より効果的なプログラミングエージェントを開発する上で、貴重な洞察を提供する。

関連論文リスト

• FVEval: Understanding Language Model Capabilities in Formal Verification of Digital Hardware [4.480157114854711]
  FVEvalは,形式的検証(FV)に関わるタスクにおいて,大規模言語モデル(LLM)のパフォーマンスを特徴付ける最初の総合ベンチマークである。 ベンチマークは3つのサブタスクで構成され、異なるレベルでLLM能力を測定する。 本稿では,FVに整合した合成例を生成するための,専門家による検証手法と手法のコレクションについて述べる。
  論文  参考訳（メタデータ） (2024-10-15T21:48:57Z)
• A Survey on Evaluating Large Language Models in Code Generation Tasks [30.256255254277914]
  本稿では,コード生成タスクにおけるLarge Language Models (LLMs) の性能評価に使用される現在の手法と指標について概説する。 自動ソフトウェア開発の需要が急速に増加し、LLMはコード生成の分野で大きな可能性を示してきた。
  論文  参考訳（メタデータ） (2024-08-29T12:56:06Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Towards more realistic evaluation of LLM-based code generation: an experimental study and beyond [36.1669124651617]
  我々は,ソフトウェア開発の進化する性質を反映した,大規模言語モデルのコード生成性能を理解するための実証的研究を行った。 従来の非無視評価手法は10.0%から61.1%の範囲でLLMの膨らませた性能をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-06-11T03:19:18Z)
• RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
  RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。 我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2024-04-30T13:50:55Z)
• Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming [12.355284125578342]
  大規模言語モデル(LLM)は、現代のソフトウェア開発の焦点となっている。 LLMは、インテリジェントでチャット駆動のプログラミングアシスタントとして機能することで、開発者の生産性を大幅に向上する可能性がある。 しかし、それぞれのシステムは、最高のパフォーマンスを確保するために、LLMをそのワークスペースに向ける必要がある。
  論文  参考訳（メタデータ） (2024-02-22T03:51:34Z)
• CodePori: Large-Scale System for Autonomous Software Development Using Multi-Agent Technology [4.2990995991059275]
  大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学の分野を変えました。 我々は,大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化するように設計された,新しいシステムであるCodePoriを紹介する。 結果: CodePoriは、典型的なソフトウェア開発プロセスに合わせて、大規模プロジェクトの実行コードを生成することができる。
  論文  参考訳（メタデータ） (2024-02-02T13:42:50Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。