論文の概要: Evaluating LLM-Generated Code: A Benchmark and Developer Study
- arxiv url: http://arxiv.org/abs/2605.09059v1
- Date: Sat, 09 May 2026 17:05:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 14:49:46.240176
- Title: Evaluating LLM-Generated Code: A Benchmark and Developer Study
- Title（参考訳）: LLM生成コードの評価:ベンチマークと開発者による研究
- Authors: Joanna Szych, Anne Schwerk,
- Abstract要約: 最高のモデルを選択するのに役立つコード生成専用のベンチマークがたくさんあります。
本稿では,大規模言語モデルが生成するコードのツリーフォールド評価手法について述べる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code generation is one of the tasks for which the use of Large Language Models is widely adopted and highly successful. Given this popularity, there are many benchmarks dedicated to code generation that can help select the best model. However, they primarily focus on measuring solution correctness, leaving other aspects, such as code quality and usability, behind. This paper aims to describe a custom tree-fold evaluation methodology for code generated by Large Language Models that bridges this gap. The methodology includes a dedicated correctness benchmark based on a complex multi-level computer science project, code quality verification, and a survey of developers' opinions on generated code samples gathered through a structured code-review process. The proposed methodology's usage and usefulness are demonstrated by evaluating and comparing three general-purpose Large Language Models: GPT-4.1, DeepSeek-V3-0324, and Claude Opus 4. The results show that reviews gathered from developers can yield many new findings, especially those related to the code being in a production-ready state, that would not be possible to obtain using the standard correctness-focused benchmark approach.
- Abstract（参考訳）: コード生成は、大規模言語モデルの使用が広く採用され、非常に成功しているタスクの1つです。
この人気を考えれば、最高のモデルを選択するのに役立つコード生成専用のベンチマークがたくさんある。
しかしながら、彼らは主に、コード品質やユーザビリティなどの他の側面を残して、ソリューションの正確性を測定することに重点を置いています。
本稿では,このギャップを埋める大規模言語モデルによって生成されたコードのツリーフォールド評価手法について述べる。
この方法論には、複雑なマルチレベルコンピュータサイエンスプロジェクトに基づく専用の正当性ベンチマーク、コード品質検証、構造化されたコードレビュープロセスを通じて収集されたコードサンプルに関する開発者の意見の調査が含まれる。
GPT-4.1、DeepSeek-V3-0324、Claude Opus 4の3つの汎用言語モデルの評価と比較により、提案手法の使用法と有用性を示す。
結果として、開発者から収集されたレビューは、特に本番環境にあるコードに関連する多くの新しい発見をもたらすことができ、標準の正当性にフォーカスしたベンチマークアプローチでは入手できないことが示されている。
関連論文リスト
- CodeEval: A pedagogical approach for targeted evaluation of code-trained Large Language Models [0.0]
大規模言語モデル(LLM)は、その常識的推論、言語理解、論理的推論能力に基づいて主に評価される。
既存のベンチマークデータセットは、特定の強度と弱点を特定できない。
我々は,Python プログラミングの 24 つの異なる側面にわたる LLM を厳格に評価するために設計された多次元ベンチマークデータセットである CodeEval を紹介した。
論文 参考訳（メタデータ） (2026-01-06T21:42:01Z) - MRG-Bench: Evaluating and Exploring the Requirements of Context for Repository-Level Code Generation [0.7342677574855649]
大規模言語モデルのより正確な評価を提供する新しいデータセットである textbfMRG-Bench を紹介する。
我々は,大規模言語モデル,長期コンテキストモデル,RAG関連手法を含む実験を行う。
その結果、ほとんどの手法は「ユーザ要求を理解することの難しさ」に悩まされており、割り当てられたタスクを正確に理解できないことがわかった。
論文 参考訳（メタデータ） (2025-08-05T01:53:45Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - OpenCodeReasoning-II: A Simple Test Time Scaling Approach via Self-Critique [59.18475981916166]
OpenCodeReasoning-IIは、250万の質問解決批判三部作からなるデータセットである(約35万のユニークなプログラミング質問)。
本研究では,2段階の教師付き微調整戦略を採用する。第1段階はコード生成のための微調整に焦点を当て,第2段階はコード生成と批判の両方のためのモデルの共同トレーニングを行う。特に,コード生成と批判モデルの統合は,競争力のある符号化性能を大幅に向上させる。
論文 参考訳（メタデータ） (2025-07-11T23:35:54Z) - From Reasoning to Code: GRPO Optimization for Underrepresented Languages [0.7864304771129751]
本稿では,Qwen 2.5モデルの小型コードバージョンとグループ相対ポリシー最適化を組み合わせた一般化可能なアプローチを提案する。
推論によるフィードバックを直接強化学習ループに統合することにより、論理的に一貫性があり、構文的に正確なコードを生成する。
論文 参考訳（メタデータ） (2025-05-20T11:28:48Z) - On Explaining (Large) Language Models For Code Using Global Code-Based Explanations [45.126233498200534]
Language Models for Code (LLM4Code)は、ソフトウェア工学(SE)のランドスケープを大きく変えた。
我々は、厳密な数学的基盤を持つ手法であるコード論理(Code$Q$)を導入し、個々のコード予測を説明できるトークンのサブセットを特定する。
評価の結果、Code$Q$は意味のある入力概念(すなわち自然言語粒子)が出力生成にどのように影響するかを説明するための強力な解釈可能性法であることがわかった。
論文 参考訳（メタデータ） (2025-03-21T01:00:45Z) - Pragmatic Reasoning improves LLM Code Generation [34.01862911727194]
大規模言語モデル(LLM)は、自然言語(NL)命令をプログラムコードに変換する上で、驚くべき可能性を示している。
この課題に対処するため、研究者はプログラムコードの複数の候補を生成し、それらを再帰して最良の解を識別するアプローチを提案している。
我々は,Rational Speech Act (RSA) フレームワーク上に構築された新しいコード候補付け機構であるCodeRSAを提案する。
論文 参考訳（メタデータ） (2025-02-20T12:44:26Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。
間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。
本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。
我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。
タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文 参考訳（メタデータ） (2022-11-25T18:05:44Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳（メタデータ） (2022-10-26T17:17:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。