論文の概要: Benchmarking the Titans: A Multi-Dimensional Empirical Evaluation of LLM Code Generation Quality in the .NET Ecosystem
- arxiv url: http://arxiv.org/abs/2608.22529v1
- Date: Sun, 23 Aug 2026 17:59:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.786231
- Title: Benchmarking the Titans: A Multi-Dimensional Empirical Evaluation of LLM Code Generation Quality in the .NET Ecosystem
- Title(参考訳): タイタンのベンチマーク:.NETエコシステムにおけるLLMコード生成品質の多次元的評価
- Abstract要約: 既存のベンチマークは、機能的正しさと構造的品質の間の重要なトレードオフを曖昧にする1つのPass@kメトリックに評価を還元する。
本稿では,C#コード生成のための多次元自動評価フレームワークを提案し,それを4つの最先端大規模言語モデル(LLM)に適用する。
我々はHumanEvalから派生した85のアルゴリズムタスクに対して制御された実験を行い、合計340の解を生成し評価し、各解は3つの独立した次元で評価する。
- 参考スコア(独自算出の注目度): 41.99844472131922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating Large Language Model (LLM) code generation quality requires examining not just whether the generated code is correct, but whether it is maintainable, efficient, and stylistically sound, all of which are qualities of direct importance to software engineering practitioners. Existing benchmarks reduce evaluation to a single Pass@k metric, which obscures critical trade-offs between functional correctness and structural quality. A further limitation is the near-exclusive focus on Python, leaving enterprise-relevant ecosystems such as C# and .NET without dedicated evaluation. This paper presents an automated, multi-dimensional evaluation framework for C# code generation, applying it to four state-of-the-art LLMs: GPT, Gemini, Claude, and Grok. We conduct a controlled experiment across 85 algorithmic tasks derived from HumanEval, generating and evaluating 340 solutions in total, in which each solution is assessed across three independent dimensions: functional correctness via automated unit testing, static code quality via Roslyn AST analysis, and runtime efficiency via adversarial BenchmarkDotNet profiling. Our central finding reveals a substantial gap between correctness and quality attributes (Pearson r = 0.075), demonstrating that Pass@k rankings systematically misrepresent the full LLM performance profile in software engineering contexts. We further characterize GPT's bimodal failure behavior.
- Abstract(参考訳): LLM(Large Language Model)コード生成の品質を評価するには、生成されたコードが正しいかどうかだけでなく、保守性、効率的、スタイリスティックに健全かどうかを調べる必要があります。
既存のベンチマークは、機能的正しさと構造的品質の間の重要なトレードオフを曖昧にする1つのPass@kメトリックに評価を還元する。
さらなる制限は、Pythonにほぼ排他的な焦点をあてることであり、C#や.NETといったエンタープライズ関連エコシステムを残している。
専用の評価はない。
本稿では,GPT,Gemini,Claude,Grokの4つの最先端LCMに適用した,C#コード生成のための多次元自動評価フレームワークを提案する。
自動単体テストによる機能的正しさ,Roslyn AST分析による静的コード品質,対向型BenchmarkDotNetプロファイリングによる実行効率,という3つの独立した次元で各ソリューションを評価できる。
Pearson r = 0.075)は、Pass@kランキングが、ソフトウェア工学の文脈における完全なLLMパフォーマンスプロファイルを体系的に誤って表現していることを示している。
我々はさらに、GPTのバイモーダル障害の挙動を特徴づける。
関連論文リスト
- PROBE: Benchmarking Code Generation in Large Language Models [0.8921166277011344]
大きな言語モデル(LLM)は、日々のソフトウェアエンジニアリングタスクでますます使われています。
LLMは完璧とは程遠いので,その強みや限界を理解する上では,評価が不可欠です。
PROBEは、多様で明確に定義されたメトリクスの上に構築された体系的な構造を確立するベンチマークフレームワークである。
論文 参考訳(メタデータ) (2026-07-15T13:28:18Z) - FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。
既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。
現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
論文 参考訳(メタデータ) (2026-05-24T20:10:42Z) - COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models [0.0]
我々は3次元にわたるコード生成を評価する包括的な評価フレームワーク、すなわち正確性、効率、品質を紹介します。
Anthropic Claude Opus 4、Google Gemini 2.5 Pro、OpenAI O4-Mini-Highの3つの主要な推論モデルの評価結果から、高い正確性スコアを達成するモデルは必ずしも効率的なアルゴリズムや保守可能なコードを生成するとは限らないことが判明した。
論文 参考訳(メタデータ) (2025-08-19T11:55:07Z) - Automated Validation of LLM-based Evaluators for Software Engineering Artifacts [0.7548538278943616]
REFINE(Ranking Evaluators for FIne grained Nuanced Evaluation)は、大規模言語モデル(LLM)をベンチマークする自動化フレームワークである。
REFINEは、徐々に品質が低下したアーティファクトを自動的に合成するために、新しい生成技術を適用している。
それぞれの候補評価器の構成を、そのランクが期待された順序にどの程度近いかを測定することで定量化する。
論文 参考訳(メタデータ) (2025-08-04T18:52:01Z) - ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。
我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。
我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
論文 参考訳(メタデータ) (2025-07-07T12:53:00Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳(メタデータ) (2025-05-28T17:57:47Z) - An LLM-as-Judge Metric for Bridging the Gap with Human Evaluation in SE Tasks [15.820416019287622]
SE-JuryはLLM-as-Ensemble-Judgeの最初の評価基準である。
さまざまなソフトウェアエンジニアリング(SE)ベンチマークでSE-Juryを評価します。
論文 参考訳(メタデータ) (2025-05-27T08:04:34Z) - AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。
コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
論文 参考訳(メタデータ) (2024-10-04T04:03:24Z) - Evaluating Source Code Quality with Large Languagem Models: a comparative study [2.3204178451683264]
本稿では,静的解析ツールとしてLarge Language Model (LLM) を用いて得られた結果について述べる。
GPT 3.5 TurboとGPT 4oの2種類のモデルを比較し,合計1,641クラスの分析を行った。
GPT 4o版では、低品質と評価されたコードに高い分類を割り当てることで、以前のモデルとSonarから切り離された結果が示されなかった。
論文 参考訳(メタデータ) (2024-08-07T18:44:46Z) - Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [127.97467912117652]
大規模言語モデル(LLM)は、コード生成において顕著な能力を示した。
しかし、単一の試みで正しいソリューションを生成することは依然として課題である。
本稿では,MPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T14:23:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。