論文の概要: PROBE: Benchmarking Code Generation in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.13820v1
• Date: Wed, 15 Jul 2026 13:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.784864
• Title: PROBE: Benchmarking Code Generation in Large Language Models
• Title（参考訳）: PROBE: 大規模言語モデルにおけるコード生成のベンチマーク
• Abstract要約: 大きな言語モデル(LLM)は、日々のソフトウェアエンジニアリングタスクでますます使われています。 LLMは完璧とは程遠いので,その強みや限界を理解する上では,評価が不可欠です。 PROBEは、多様で明確に定義されたメトリクスの上に構築された体系的な構造を確立するベンチマークフレームワークである。
• 参考スコア（独自算出の注目度）: 0.8921166277011344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly being used in everyday software engineering tasks, particularly in automated code generation. Despite their widespread adoption, these models remain far from perfect, making systematic and fair evaluation essential to understand their strengths and limitations. In the context of code generation, existing benchmarks are limited: they often target a single programming language and rely primarily on unit test outcomes, while overlooking other critical dimensions such as the overall quality of the generated code and its closeness to a valid solution. To address these gaps, we introduce PROBE, an extensible benchmark framework that, unlike prior work, establishes a systematic structure built on diverse and well-defined metrics, representative workloads, varied prompt templates, and a robust experimental procedure. In practice, the code generated by the LLMs is evaluated along three complementary dimensions: functional correctness, proximity to valid solutions, and code quality, enabling a comprehensive assessment of performance. We use PROBE to evaluate four open-source and two proprietary models under three prompting strategies across five programming languages. We further complement this analysis with a study of common errors in the code and provide concrete examples, offering clearer insight into where LLMs tend to struggle. Our findings show that, while LLMs achieve promising results, they struggle with harder problems and, in the case of smaller models, with programming languages that have fewer available resources for training, and they often fail due to fundamental and easily avoidable errors that underscore the unreliability of automatically generated code.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、日々のソフトウェアエンジニアリングタスク、特に自動コード生成において、ますます使われています。 広く採用されているにもかかわらず、これらのモデルは完璧には程遠いものであり、その強みと限界を理解するために体系的で公正な評価が不可欠である。 コード生成の文脈では、既存のベンチマークは限られている。それらは、しばしば単一のプログラミング言語をターゲットにしており、主に単体テストの結果に依存している。 このようなギャップに対処するために,従来の作業と異なり,多様で明確に定義されたメトリクス,代表的ワークロード,さまざまなプロンプトテンプレート,堅牢な実験手順に基づいて構築された体系的構造を確立する,拡張可能なベンチマークフレームワークである PROBE を紹介した。 実際には、LLMによって生成されたコードは、機能的正当性、有効なソリューションに近いこと、コード品質の3つの相補的な側面に沿って評価され、パフォーマンスの包括的な評価を可能にする。 PROBEはオープンソースとプロプライエタリな4つのモデルの評価に使用しています。 さらに、この分析をコード内の一般的なエラーの研究で補完し、具体的な例を示し、LLMが苦労する傾向についてより明確な洞察を提供する。 以上の結果から,LLMは有望な結果を得る一方で,より小型のモデルでは,トレーニングに利用可能なリソースが少ないプログラム言語では困難な問題に悩まされ,自動生成コードの信頼性を損なう基本的かつ容易に回避可能なエラーのため,しばしば失敗することが明らかとなった。

関連論文リスト

• Perish or Flourish? A Holistic Evaluation of Large Language Models for Code Generation in Functional Programming [3.2230833657560503]
  FPEvalは、Haskell、Ocaml、Scalaの3つの主要なプログラミング言語における3つの困難レベルにわたる721のプログラミングタスクの新しいベンチマークである。 このフレームワークを用いて,関数型プログラミング言語とJavaにおけるコード生成のための,最先端の大規模言語モデル(LLM)を評価する。
  論文  参考訳（メタデータ） (2026-01-05T12:33:37Z)
• CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
  本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。 また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-22T14:27:17Z)
• Holistic Evaluation of State-of-the-Art LLMs for Code Generation [5.504955093712013]
  DeepSeek-R1 と GPT-4.1 は、正確性、効率、堅牢性という点で他より一貫して優れている。 構文エラーや論理的欠陥,最適化アルゴリズムといった,一般的な障害シナリオを特定します。
  論文  参考訳（メタデータ） (2025-12-19T23:29:05Z)
• SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models [59.90381306452982]
  ソフトウェアエンジニアリングのための大規模言語モデル(LLM)の評価は、タスクカバレッジの狭さ、言語バイアス、現実世界の開発者との整合性の不足によって制限されている。 SWE-1は、不均一なコード関連評価を構造化および生産整合性のあるフレームワークに統合する包括的なベンチマークである。 SWE-は8つのタスクタイプ、8つのプログラミングシナリオ、10のプログラミング言語にまたがる。
  論文  参考訳（メタデータ） (2025-11-07T18:01:32Z)
• MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks [56.34018316319873]
  我々は,最新のLLMをロシア語で評価するためのベンチマークであるMERA Codeを提案する。 このベンチマークには、8つのプログラミング言語にまたがる11の評価タスクが含まれている。 我々はオープンなLLMとフロンティアAPIモデルを評価し、非英語言語における実用的なコーディングタスクの観点からそれらの制限を分析した。
  論文  参考訳（メタデータ） (2025-07-16T14:31:33Z)
• Coding Triangle: How Does Large Language Model Understand Code? [33.42334127806147]
  大規模言語モデル (LLM) はコード生成において顕著な進歩を遂げているが、真のプログラミング能力は未解明のままである。 本稿では,3つの基本的な側面(編集解析,コード実装,テストケース生成)にまたがってLLMを体系的に評価するCode Triangleフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-07-08T16:20:43Z)
• Empirical Evaluation of Large Language Models in Automated Program Repair [11.840927951970146]
  大規模言語モデル(LLM)は、自動プログラム修復(APR)のための新しい機会を提供する 我々は,7Bから33Bパラメータ,多様なアーキテクチャ,目的の4つのオープンソースLLM,CodeLlama,LLaMA,StarCoder,DeepSeek-Coderを研究した。 2つのバグシナリオ(エンタプライズグレードとアルゴリズム)、3つの言語(Java、C/C++、Python)と4つのプロンプト戦略で評価し、6つのベンチマークで600万以上の生成されたパッチを分析しました。
  論文  参考訳（メタデータ） (2025-06-16T07:52:15Z)
• Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
  大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。 実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:57:47Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [92.62952504133926]
  本研究は,3つの一般的なベンチマーク上で,3つの主要なクローズドソースLLMと6つの人気のあるオープンソースLLMの性能評価を行った。 間違ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析した。 本稿では,自己批判を導入し,LLMが生成したコードに対する批判と修正を可能にする,新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。