論文の概要: When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories
- arxiv url: http://arxiv.org/abs/2610.26394v1
- Date: Mon, 19 Oct 2026 13:39:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 18:00:28.339191
- Title: When Coding Agents Outpace Review: Evaluating PRD-Driven Development in Mature Enterprise Repositories
- Title（参考訳）: コーディングエージェントのレビュー: 成熟したエンタープライズリポジトリにおけるRD駆動開発の評価
- Abstract要約: PACEは43のエンタープライズタスクのベンチマークであり、750のエキスパートによるCode Pointsがある。
要求の再構築、基準構築、証拠に基づく評価を組み合わせて、PRDの充足度を測定する。
- 参考スコア（独自算出の注目度）: 30.45295743702306
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents increasingly undertake development tasks in mature enterprise repositories, yet existing benchmarks offer limited insight into whether they fulfill complete Product Requirement Documents (PRDs) and where delivery breaks down. Issue resolution and development from scratch leave incremental PRD fulfillment underexplored, while isolated tests provide incomplete evidence of business and integration requirements. We introduce PACE, a benchmark of 43 enterprise tasks with 750 expert-audited Code Points. It combines requirement reconstruction, criterion construction, and evidence-based evaluation to measure PRD fulfillment and connect delivery gaps to agent behavior. Across 11 model--scaffold configurations, most scores fall between 52.1 and 78.1; GPT-5.6-Sol achieves the highest complete-delivery rate of 14.0\%. Incomplete implementation and missing integration are the principal bottlenecks: producing individual components does not ensure a complete delivery. Evaluation achieves 95.2\% agreement with expert consensus, with lower case-level variation across judging records than repeated executions. Beyond model comparison, the benchmark provides actionable feedback for harness refinement: diagnosis guides targeted improvements, and successive harness releases raise mean performance from 59.4 to 63.0 using the same model and task suite. Code is available at https://github.com/TianqiLiu1/PACE-Bench.
- Abstract（参考訳）: コーディングエージェントは成熟したエンタープライズリポジトリで開発タスクをこなす傾向にあるが、既存のベンチマークでは、製品要求文書(PRD)が完成し、どこでデリバリが失敗するのか、という限られた洞察しか得られていない。
問題の解決とスクラッチからの開発は、段階的なPRD充足を過小評価する一方で、独立したテストは、ビジネスと統合の要求の不完全な証拠を提供する。
PACEは、43のエンタープライズタスクのベンチマークで、750のエキスパートによるCode Pointsを紹介します。
要求の再構築、基準構築、エビデンスに基づく評価を組み合わせて、PRDの充足度を測定し、デリバリーギャップをエージェントの行動に結びつける。
11のモデル-スキャフォールド構成で、ほとんどのスコアは52.1から78.1に落ち、GPT-5.6-Solは14.0\%の最高完結率を達成する。
不完全な実装と統合の欠如が主なボトルネックである。
評価は専門家の合意と95.2\%の一致を達成し、判定レコードのケースレベルの変動は繰り返し実行よりも低い。
診断ガイドは改善を目標とし、連続するハーネスリリースは、同じモデルとタスクスイートを使用して59.4から63.0まで平均性能を上昇させる。
コードはhttps://github.com/TianqiLiu1/PACE-Benchで入手できる。
関連論文リスト
- AssetForge: Asset-Augmented Task Synthesis for Business Automation Agents [50.07771061768613]
ビジネス自動化エージェントのトレーニングには、自然に管理された要求をアプリケーション状態と終了状態に接続する実行可能なタスクが必要である。
従来のオートメーションでは、著者はアプリケーションインターフェース、初期記録、ポリシーエビデンス、各タスクの検証可能な結果チェックを再現する必要がある。
AssetForgeは、アセット拡張されたタスク言語パイプラインで、再利用可能なコンストラクション-アセスメントライブラリとタスク特化ライブラリをペアリングします。
論文 参考訳（メタデータ） (2026-10-13T13:06:16Z) - Large-scale Repository Engineering via Agent-Native Reusable Code Primitives [26.27948077165739]
開発環境を備えた大規模言語モデルは、コード生成をリポジトリスケールの構築へと移行した。
Code Primitivesは、インターフェイスコントラクト、依存性のクロージャ、バリデーションテスト、証明を備えた、エージェントネイティブで再利用可能なコンポーネントです。
我々は,リポジトリ構築のための検索可能なライブラリであるCodeFaceに,検証済みプリミティブ1,424を編成する。
論文 参考訳（メタデータ） (2026-10-06T20:20:50Z) - ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks [60.600151982455195]
ProgramDistillは、完全に機能する参照アプリケーションとのインタラクションによって発見された機能について、コーディングエージェントを評価するベンチマークである。
私たちのパイプラインであるマイニングクラフトパッチは、26のアプリケーションにまたがる1,975のリプレイ検証された振る舞いを発見し、人間の介入なしに4,063のタスクを構築します。
論文 参考訳（メタデータ） (2026-09-16T15:19:05Z) - Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation [141.29138788636013]
任意のエージェントを評価するために80以上のベンチマークを移植するベンチマークアダプタを開発した。
54のベンチマークで,機能レベルにまたがる8モデルの大規模評価を行う。
私たちは29のベンチマークにまたがる82の難易度、多様性、高品質なタスクをキュレートしたHarbor-Indexを紹介します。
論文 参考訳（メタデータ） (2026-09-03T16:26:20Z) - BulkPR-Bench: Benchmarking Queue-Level Governance of Interacting Pull Requests [20.302431171662406]
BulkPR-Benchは,エージェントが逐次PR関係を回復し,大規模な安全なサブセットを返さなければならない,実行可能なベンチマークである。
このスイートには,18のレポジトリの凍結スナップショットに関する,新たに581のPRが含まれている。
論文 参考訳（メタデータ） (2026-08-03T07:24:33Z) - Spec Kit Agents: Context-Grounded Agentic Workflows [0.0]
Spec Kit AgentsはPMと開発者の役割を持つマルチエージェントSDDパイプラインである。
読み取り専用の調査フックは,各ステージにリポジトリのエビデンスを格納する。
検証フックは環境に対する中間成果物をチェックする。
論文 参考訳（メタデータ） (2026-04-07T00:26:49Z) - A Benchmark for Evaluating Repository-Level Code Agents with Intermediate Reasoning on Feature Addition Task [11.218318079376365]
RACE-benchは、機能追加タスクでコードエージェントを評価するための推論強化ベンチマークである。
RACE-benchには、12のオープンソースリポジトリから528の現実世界の機能追加インスタンスが含まれている。
RACE-bench上での3つのリポジトリレベルのコードエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-27T11:58:47Z) - Vibe Code Bench: Evaluating AI Models on End-to-End Web Application Development [6.072381417546439]
既存のベンチマークは、スクラッチから動くアプリケーションを構築するための完全な"ゼロ・ツー・ワン"プロセスではなく、独立したタスクを計測します。
Vibe Code Benchは、ブラウザベースのサブステップが964である100のWebアプリケーション仕様のベンチマークである。
提案するコントリビューションには,(1)エンドツーエンドWebアプリケーション開発のための新しいベンチマークデータセットとブラウザベースの評価パイプライン,(2)コスト,レイテンシ,エラー解析を備えた16のフロンティアモデルの包括的評価,(3)クロスモデルとヒューマンアノテーションの両方による評価器アライメントプロトコルなどが含まれている。
論文 参考訳（メタデータ） (2026-03-04T21:00:33Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。