論文の概要: Construct Validity of Coding Benchmarks for LLM-based Agentic Coding Tools

• arxiv url: http://arxiv.org/abs/2611.05665v1
• Date: Tue, 03 Nov 2026 21:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.858484
• Title: Construct Validity of Coding Benchmarks for LLM-based Agentic Coding Tools
• Title（参考訳）: LLMに基づくエージェント符号化ツールにおける符号化ベンチマークの構成妥当性
• Abstract要約: エージェントプログラミングツールの有効性を評価するのによく使われる9つのベンチマークを解析する。 我々は、ベンチマークが測定すると主張する構造、それらを運用するために使用されるメトリクス、そして測定に干渉する潜在的な共同設立者を特定する。
• 参考スコア（独自算出の注目度）: 45.94032752305253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software developers increasingly adopt LLM-based agentic coding tools to assist them with development tasks. To provide developers with up-to-date information on these tools' effectiveness, prior work introduced benchmarks that enable comparisons across tools. Despite the widespread adoption of such benchmarks, however, recent work has shown that they suffer from issues threatening their validity. Aims. In this work, we aim to complement prior work by analyzing the construct validity of agentic coding benchmarks. Methodology. We analyze nine benchmarks commonly used to evaluate the effectiveness of agentic coding tools. We identify the constructs that the benchmarks claim to measure, the metrics used to operationalize them, and potential confounders that interfere with the measurement. Results. Our findings show that benchmarks commonly operationalize broad concepts such as coding capability with only a small set of metrics. The reported attributes that might confound the measurements vary between benchmarks, indicating a lack of standardization. Conclusions. We conclude with recommendations to strengthen construct validity in agentic coding benchmarks and encourage further empirical work to better understand the effectiveness of agentic coding tools.
• Abstract（参考訳）: ソフトウェア開発者は、LLMベースのエージェントコーディングツールをますます採用して、開発タスクを支援している。 これらのツールの有効性に関する最新の情報を提供するため、以前の作業では、ツール間の比較を可能にするベンチマークが導入されていた。 しかし、こうしたベンチマークが広く採用されているにもかかわらず、最近の研究は、それらの妥当性を脅かす問題に悩まされていることを示している。 エイムズ。 本研究では,エージェントプログラミングベンチマークの構成妥当性を解析し,先行研究を補完することを目的とする。 方法論。 エージェントプログラミングツールの有効性を評価するのによく使われる9つのベンチマークを解析する。 我々は、ベンチマークが測定すると主張する構造、それらを運用するために使用されるメトリクス、そして測定に干渉する潜在的な共同設立者を特定する。 結果。 この結果から,ベンチマークは,少数のメトリクスのみを用いて,コーディング能力などの幅広い概念を一般的に運用していることがわかった。 報告された属性はベンチマークによって異なり、標準化の欠如を示している。 結論。 我々は,エージェントコーディングベンチマークの妥当性を高めるとともに,エージェントコーディングツールの有効性をよりよく理解するための実証的な作業を促進することを推奨する。

関連論文リスト

• Offloading Score: Measuring AI Reliance Through Counterfactual Workflows [70.84727355516559]
  私たちは、AIツールにオフロードされた認知活動の分断を定量化する、信頼度尺度であるオフロードスコアを導入します。 本研究は,本質的な計量妥当性評価と制御されたユーザスタディにより,オフロードスコアの検証を行う。 オフロードスコアは、時間制約設定における依存度を著しく高めることを示す。
  論文  参考訳（メタデータ） (2026-05-28T05:44:31Z)
• ProdCodeBench: A Production-Derived Benchmark for Evaluating AI Coding Agents [10.578603956693696]
  本稿では,ProdCodeBenchを用いて実運用用ベンチマークの計算手法を提案する。 それぞれのキュレートされたサンプルは、7つのプログラミング言語にまたがる冗長なプロンプト、コミットされたコード変更、フェイル・ツー・パステストで構成されている。 4つの基礎モデルの体系的な分析は、53.2%から72.2%の範囲で解決する。
  論文  参考訳（メタデータ） (2026-04-02T01:52:55Z)
• Agent psychometrics: Task-level performance prediction in agentic coding benchmarks [24.348135523715815]
  本稿では,エージェントプログラミング体制に合わせて,個々のタスクにおける成功や失敗を予測する枠組みを提案する。 我々のアプローチは、イシューステートメント、リポジトリコンテキスト、ソリューション、テストケースなど、タスクから抽出された豊富な機能を備えたアイテム応答理論(IRT)を拡張します。
  論文  参考訳（メタデータ） (2026-04-01T07:59:59Z)
• LoCoBench-Agent: An Interactive Benchmark for LLM Agents in Long-Context Software Engineering [90.84806758077536]
  textbfLoCoBench-Agentは,大規模言語モデル(LLM)エージェントを現実的,長期的ソフトウェア工学で評価するための総合的な評価フレームワークである。 我々のフレームワークは、LoCoBenchの8000のシナリオを対話型エージェント環境に拡張し、マルチターン会話の体系的評価を可能にする。 我々のフレームワークは,8つの特殊なツール(ファイル操作,検索,コード解析)をエージェントに提供し,それを10Kから1Mトークンの範囲で評価する。
  論文  参考訳（メタデータ） (2025-11-17T23:57:24Z)
• On Generalization in Agentic Tool Calling: CoreThink Agentic Reasoner and MAVEN Dataset [16.921428284844684]
  エージェントツールコール環境間の一般化は、信頼できる推論システムを開発する上で重要な未解決課題である。 本稿では、構造化分解と適応ツールオーケストレーションのための軽量なシンボリック推論層を用いて、大規模言語モデルを強化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-27T00:58:48Z)
• MCP-RADAR: A Multi-Dimensional Benchmark for Evaluating Tool Use Capabilities in Large Language Models [33.250579401886206]
  本稿では,モデルコンテキストプロトコル(MCP)フレームワークにおいて,LLM(Large Language Models)の性能を評価するために設計された最初の総合ベンチマークであるMPP-RADARを紹介する。 MCP-RADARは、数学的推論、Web検索、Eメール、カレンダー、ファイル管理、端末操作の6つの領域にまたがる507のタスクからなる挑戦的なデータセットを備えている。 主観的な人的評価やバイナリ成功のメトリクスに依存する従来のベンチマークとは異なり、MPP-RADARは複数のタスク領域にわたる客観的な定量測定を採用する。
  論文  参考訳（メタデータ） (2025-05-22T14:02:37Z)
• A Tool for In-depth Analysis of Code Execution Reasoning of Large Language Models [1.644043499620662]
  本稿では,コード実行推論フレームワークの結果を分析する一連のツールであるExeRScopeを紹介する。 分析は、より多くのベンチマークを設計することなく、同様の特性を持つコードに一般化することができる。
  論文  参考訳（メタデータ） (2025-01-30T16:56:08Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。