論文の概要: Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion?

• arxiv url: http://arxiv.org/abs/2410.01353v3
• Date: Thu, 24 Oct 2024 06:24:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 21:39:21.781676
• Title: Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion?
• Title（参考訳）: Codev-Bench: LLMは開発者中心のコード補完にどのように耐えられるか?
• Authors: Zhenyu Pan, Rongyu Cao, Yongchang Cao, Yingwei Ma, Binhua Li, Fei Huang, Han Liu, Yongbin Li,
• Abstract要約: Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
• 参考スコア（独自算出の注目度）: 60.84912551069379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code completion, a key downstream task in code generation, is one of the most frequent and impactful methods for enhancing developer productivity in software development. As intelligent completion tools evolve, we need a robust evaluation benchmark that enables meaningful comparisons between products and guides future advancements. However, existing benchmarks focus more on coarse-grained tasks without industrial analysis resembling general code generation rather than the real-world scenarios developers encounter. Moreover, these benchmarks often rely on costly and time-consuming human annotation, and the standalone test cases fail to leverage minimal tests for maximum repository-level understanding and code coverage. To address these limitations, we first analyze business data from an industrial code completion tool and redefine the evaluation criteria to better align with the developer's intent and desired completion behavior throughout the coding process. Based on these insights, we introduce Codev-Agent, an agent-based system that automates repository crawling, constructs execution environments, extracts dynamic calling chains from existing unit tests, and generates new test samples to avoid data leakage, ensuring fair and effective comparisons. Using Codev-Agent, we present the Code-Development Benchmark (Codev-Bench), a fine-grained, real-world, repository-level, and developer-centric evaluation framework. Codev-Bench assesses whether a code completion tool can capture a developer's immediate intent and suggest appropriate code across diverse contexts, providing a more realistic benchmark for code completion in modern software development.
• Abstract（参考訳）: コード補完は、コード生成における重要な下流タスクであり、ソフトウェア開発における開発者の生産性を高める最も頻繁で影響力のある方法の1つである。 インテリジェントな補完ツールが進化するにつれて、製品間の有意義な比較を可能にし、将来の進歩をガイドする堅牢な評価ベンチマークが必要です。 しかし、既存のベンチマークでは、開発者が遭遇する現実のシナリオよりも、一般的なコード生成に類似した産業分析のない粗いタスクに重点を置いている。 さらに、これらのベンチマークはコストと時間を要する人間のアノテーションに依存しており、スタンドアロンのテストケースでは、リポジトリレベルの理解とコードカバレッジの最大化のために最小限のテストを活用することができません。 これらの制約に対処するため、まず産業用コード補完ツールからビジネスデータを分析し、その評価基準を再定義し、コーディングプロセス全体を通して、開発者の意図と望ましい完了行動に適合するようにします。 これらの知見に基づいて,リポジトリのクローリングを自動化するエージェントベースのシステムであるCodev-Agentを導入し,実行環境を構築し,既存のユニットテストから動的呼び出しチェーンを抽出し,データ漏洩を回避するために新しいテストサンプルを生成し,公正かつ効果的な比較を確実にする。 Codev-Agentを使って、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークであるCode-Development Benchmark(Codev-Bench)を紹介します。 Codev-Bench氏は、コード補完ツールが開発者の直近の意図を捉え、さまざまなコンテキストにまたがる適切なコードを提案することができるかどうかを評価し、モダンなソフトウェア開発におけるコード補完のより現実的なベンチマークを提供する。

関連論文リスト

• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• Contextualized Data-Wrangling Code Generation in Computational Notebooks [131.26365849822932]
  我々は、マルチモーダルなコンテキスト依存を明確にしたデータラングリングコード生成例をマイニングするために、CoCoMineという自動アプローチを提案する。 コンテクスト化されたデータラングリングコード生成のための58,221のサンプルを含むデータセットであるCoCoNoteをNotebooksで構築する。 実験結果は、データラングリングコード生成にデータコンテキストを組み込むことの重要性を示す。
  論文  参考訳（メタデータ） (2024-09-20T14:49:51Z)
• ComplexCodeEval: A Benchmark for Evaluating Large Code Models on More Complex Code [29.178248778212588]
  ComplexCodeEvalは、様々な開発タスクで大きな言語モデル(LLM)を評価するために設計されたベンチマークである。 これには、上位のGitHubリポジトリから3,897のJavaサンプルと7,184のPythonサンプルが含まれている。
  論文  参考訳（メタデータ） (2024-09-16T13:43:04Z)
• RepoMasterEval: Evaluating Code Completion via Real-World Repositories [12.176098357240095]
  RepoMasterEvalは、現実のPythonとTypeScriptリポジトリから構築されたコード補完モデルを評価するための新しいベンチマークである。 モデル生成コードのテスト精度を向上させるため,テストケースの有効性を測定するために突然変異試験を用いる。 6つの最先端モデルに対する実証的な評価は、テスト議論がベンチマークの精度向上に重要であることを示している。
  論文  参考訳（メタデータ） (2024-08-07T03:06:57Z)
• SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
  ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。 我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。 コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
  論文  参考訳（メタデータ） (2024-06-18T14:54:37Z)
• On the Impacts of Contexts on Repository-Level Code Generation [5.641402231731082]
  リポジトリレベルのコード生成を評価するために設計された新しいベンチマークである textbfmethodnamews を提案する。 実行可能性、包括的なテストケース生成による機能的正当性、ファイル間のコンテキストの正確な利用という3つの重要な側面に注目します。
  論文  参考訳（メタデータ） (2024-06-17T10:45:22Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
  本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。 我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。