論文の概要: CodeVisionary: An Agent-based Framework for Evaluating Large Language Models in Code Generation

• arxiv url: http://arxiv.org/abs/2504.13472v1
• Date: Fri, 18 Apr 2025 05:26:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:10:38.118937
• Title: CodeVisionary: An Agent-based Framework for Evaluating Large Language Models in Code Generation
• Title（参考訳）: CodeVisionary: コード生成における大規模言語モデル評価のためのエージェントベースのフレームワーク
• Authors: Xinchen Wang, Pengfei Gao, Chao Peng, Ruida Hu, Cuiyun Gao,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成において強力な能力を示している。 既存の評価アプローチは、人間中心、メートル法、LLMベースの3つのカテゴリに分類される。 コード生成における LLM 評価のための最初の LLM ベースのエージェントフレームワークである CodeVisionary を提案する。
• 参考スコア（独自算出の注目度）: 8.795746370609855
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have demonstrated strong capabilities in code generation, underscoring the critical need for rigorous and comprehensive evaluation. Existing evaluation approaches fall into three categories, including human-centered, metric-based, and LLM-based. Considering that human-centered approaches are labour-intensive and metric-based ones overly rely on reference answers, LLM-based approaches are gaining increasing attention due to their stronger contextual understanding capabilities and superior efficiency. However, the performance of LLM-based approaches remains limited due to: (1) lack of multisource domain knowledge, and (2) insufficient comprehension of complex code. To mitigate the limitations, we propose CodeVisionary, the first LLM-based agent framework for evaluating LLMs in code generation. CodeVisionary consists of two stages: (1) Multiscore knowledge analysis stage, which aims to gather multisource and comprehensive domain knowledge by formulating and executing a stepwise evaluation plan. (2) Negotiation-based scoring stage, which involves multiple judges engaging in discussions to better comprehend the complex code and reach a consensus on the evaluation score. Extensive experiments demonstrate that CodeVisionary achieves the best performance for evaluating LLMs in code generation, outperforming the best baseline methods with average improvements of 0.202, 0.139, and 0.117 in Pearson, Spearman, and Kendall-Tau coefficients, respectively. Besides, CodeVisionary provides detailed evaluation reports, which assist developers in identifying shortcomings and making improvements. The resources of CodeVisionary are available at https://anonymous.4open.science/r/CodeVisionary.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、厳密で包括的な評価の必要性を強調し、コード生成において強力な能力を示している。 既存の評価アプローチは、人間中心、メートル法、LLMベースの3つのカテゴリに分類される。 人間中心のアプローチは労働集約的であり、メートル法に基づくアプローチは基準回答に過度に依存しているため、LLMベースのアプローチはより強い文脈理解能力と優れた効率のために注目を集めている。 しかし,LLMに基づくアプローチの性能は,(1)マルチソースドメイン知識の欠如,(2)複雑なコードの理解が不十分なことなどから,依然として制限されている。 この制限を緩和するために,コード生成における LLM 評価のための最初の LLM ベースのエージェントフレームワークである CodeVisionary を提案する。 CodeVisionaryは,(1)段階的評価計画の策定と実行により,多元的および包括的ドメイン知識の収集を目的としたマルチスコア知識分析段階である。 2)複雑なコードの理解を深め,評価スコアに関する合意に達するために,複数の審査員が議論を行う,交渉に基づくスコアステージ。 CodeVisionary はコード生成における LLM の評価において,それぞれ Pearson , Spearman および Kendall-Tau 係数の平均改善率 0.202 , 0.139 , 0.117 で最高のベースライン法を上回り,最高の性能を達成している。 さらに、CodeVisionaryは詳細な評価レポートを提供している。 CodeVisionaryのリソースはhttps://anonymous.4open.science/r/CodeVisionaryで入手できる。

関連論文リスト

• Can Large Language Models Serve as Evaluators for Code Summarization? [47.21347974031545]
  LLM(Large Language Models)は、コード要約手法の効果的な評価手法である。 LLMはエージェントに、コードレビュアー、コード作者、コードエディタ、システムアナリストなどの様々な役割を演じるよう促す。 CoDERPEは、人間の評価と81.59%のスピアマン相関を達成し、既存のBERTScoreの基準を17.27%上回った。
  論文  参考訳（メタデータ） (2024-12-02T09:56:18Z)
• Human-Like Code Quality Evaluation through LLM-based Recursive Semantic Comprehension [39.277408536940825]
  コード品質評価には、特定の問題ステートメントに対する参照コードに基づいて生成されたコード品質を評価することが含まれる。 現在、コード品質の評価には、マッチベースの評価と実行ベースの評価の2つの主要な形態がある。
  論文  参考訳（メタデータ） (2024-11-30T01:49:25Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• SpecEval: Evaluating Code Comprehension in Large Language Models via Program Specifications [12.683365968483807]
  プログラム仕様を用いて,大規模言語モデルにおけるコード理解を評価するためのSpecEvalを提案する。 4つの仕様関連タスクは、基本的なレベルから高度なレベルまでLLMの能力を評価するために慎重に設計されている。 特に、4つの仕様関連タスクは、基本的なレベルから高度なレベルまでLLMの能力を評価するために慎重に設計されている。
  論文  参考訳（メタデータ） (2024-09-19T16:08:39Z)
• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。