論文の概要: COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.13757v1
• Date: Tue, 19 Aug 2025 11:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.908903
• Title: COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるコード生成評価のための多次元ベンチマークCompASS
• Authors: James Meaden, Michał Jarosz, Piotr Jodłowski, Grigori Melnik,
• Abstract要約: 我々は3次元にわたるコード生成を評価する包括的な評価フレームワーク、すなわち正確性、効率、品質を紹介します。 Anthropic Claude Opus 4、Google Gemini 2.5 Pro、OpenAI O4-Mini-Highの3つの主要な推論モデルの評価結果から、高い正確性スコアを達成するモデルは必ずしも効率的なアルゴリズムや保守可能なコードを生成するとは限らないことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current code generation benchmarks focus primarily on functional correctness while overlooking two critical aspects of real-world programming: algorithmic efficiency and code quality. We introduce COMPASS (COdility's Multi-dimensional Programming ASSessment), a comprehensive evaluation framework that assesses code generation across three dimensions: correctness, efficiency, and quality. COMPASS consists of 50 competitive programming problems from real Codility competitions, providing authentic human baselines from 393,150 submissions. Unlike existing benchmarks that treat algorithmically inefficient solutions identically to optimal ones provided they pass test cases, COMPASS systematically evaluates runtime efficiency and code quality using industry-standard analysis tools. Our evaluation of three leading reasoning-enhanced models, Anthropic Claude Opus 4, Google Gemini 2.5 Pro, and OpenAI O4-Mini-High, reveals that models achieving high correctness scores do not necessarily produce efficient algorithms or maintainable code. These findings highlight the importance of evaluating more than just correctness to truly understand the real-world capabilities of code generation models. COMPASS serves as a guiding framework, charting a path for future research toward AI systems that are robust, reliable, and ready for production use.
• Abstract（参考訳）: 現在のコード生成ベンチマークは、アルゴリズム効率とコード品質の2つの重要な側面を見越しながら、機能的正確性に重点を置いている。 CompASS(Codility's Multi-dimensional Programming ASSessment)は,3次元にわたるコード生成を評価する総合的な評価フレームワークである。 CompASSは、実際のCodilityコンペティションから50の競合プログラミング問題で構成され、393,150件の応募から真に人間のベースラインを提供する。 テストケースをパスした場合、アルゴリズム的に非効率なソリューションを最適に扱う既存のベンチマークとは異なり、CompASSは業界標準分析ツールを使用して実行効率とコード品質を体系的に評価する。 Anthropic Claude Opus 4、Google Gemini 2.5 Pro、OpenAI O4-Mini-Highの3つの主要な推論モデルの評価結果から、高い正確性スコアを達成するモデルは必ずしも効率的なアルゴリズムや保守可能なコードを生成するとは限らないことが判明した。 これらの知見は、コード生成モデルの現実の能力を真に理解するために、単に正確性を評価すること以上のことの重要性を強調している。 CompASSはガイドフレームワークとして機能し、堅牢で信頼性があり、実運用に使えるAIシステムに向けた将来の研究の道筋を図示する。

関連論文リスト

• OpenCodeReasoning-II: A Simple Test Time Scaling Approach via Self-Critique [59.18475981916166]
  OpenCodeReasoning-IIは、250万の質問解決批判三部作からなるデータセットである(約35万のユニークなプログラミング質問)。 本研究では,2段階の教師付き微調整戦略を採用する。第1段階はコード生成のための微調整に焦点を当て,第2段階はコード生成と批判の両方のためのモデルの共同トレーニングを行う。特に,コード生成と批判モデルの統合は,競争力のある符号化性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-07-11T23:35:54Z)
• CoQuIR: A Comprehensive Benchmark for Code Quality-Aware Information Retrieval [31.817325318218003]
  CoQuIRは、品質を意識したコード検索を評価するために設計された、最初の大規模多言語ベンチマークである。 CoQuIRは、11のプログラミング言語で42,725のクエリと134,907のコードスニペットに対して、きめ細かい品質のアノテーションを提供する。
  論文  参考訳（メタデータ） (2025-05-31T13:00:17Z)
• CoCo-Bench: A Comprehensive Code Benchmark For Multi-task Large Language Model Evaluation [19.071855537400463]
  大規模言語モデル(LLM)はソフトウェア工学において重要な役割を果たし、コード生成やメンテナンスといったタスクに優れています。 CoCo-Benchは、コード理解、コード生成、コード修正、コードレビューの4つの重要な側面にわたるLCMを評価するように設計されている。
  論文  参考訳（メタデータ） (2025-04-29T11:57:23Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• On Iterative Evaluation and Enhancement of Code Quality Using GPT-4o [1.5960340244043023]
  本稿では,Large Language Models (LLM) を利用したコード品質の反復評価と向上のための新しいフレームワークであるCodeQUESTを紹介する。 フレームワークは2つの主要なコンポーネントに分割されている。10次元にわたるコード品質を評価し、定量スコアと定性的な要約の両方を提供する評価器。 本研究は,CodeQUESTが既存のコード品質指標と整合して,コード品質を効果的かつ堅牢に評価できることを実証する。
  論文  参考訳（メタデータ） (2025-02-11T09:27:00Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• ICE-Score: Instructing Large Language Models to Evaluate Code [7.556444391696562]
  コードアセスメントのための大規模言語モデルに基づく新しい評価指標であるtextttICE-Score を提案する。 提案手法は,機能的正しさと人的嗜好との相関性に優れ,既存のアプローチの限界に対処する。 以上の結果から,コード生成の最先端の指標を超越した結果が得られた。
  論文  参考訳（メタデータ） (2023-04-27T16:38:17Z)
• Aligning Offline Metrics and Human Judgments of Value for Code Generation Models [25.726216146776054]
  正確性は高価値な世代をキャプチャするが、プログラマは、コーディングタスクの完了に必要な全体的な労力を減らすことで、単体テストに失敗するコードを価値として評価する。 本稿では,機能的正しさと構文的類似性を組み合わせたハイブリッド計量を提案し,値との相関が14%強いことを示す。
  論文  参考訳（メタデータ） (2022-10-29T05:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。