論文の概要: FeatureArc: Benchmarking Coding Agents on Evolving Features
- arxiv url: http://arxiv.org/abs/2610.37434v1
- Date: Tue, 27 Oct 2026 15:45:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.679426
- Title: FeatureArc: Benchmarking Coding Agents on Evolving Features
- Title（参考訳）: FeatureArc: 進化する機能に関するベンチマークコーディングエージェント
- Abstract要約: 機能の進化には、エージェント自身の以前のコードで連続した拡張を評価する必要がある。
進化する機能のコーディングエージェントを評価するためのFeatureArcと、リポジトリ履歴からタスクを構築するパイプラインを紹介します。
- 参考スコア（独自算出の注目度）: 9.803830098681557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A software feature usually evolves over time: developers extend its first version as new use cases and requirements arrive, and each extension builds on code written earlier. Most feature benchmarks evaluate a single request on a fixed codebase. Feature evolution requires evaluating successive extensions on an agent's own earlier code and checking whether the feature remains correct. We introduce FeatureArc to evaluate coding agents on evolving features, together with a pipeline that constructs its tasks from repository histories. The benchmark combines dependencies between successive stages of the same feature, explicit requirements and interface contracts, and executable checks across four programming languages. The pipeline validates fail-to-pass (F2P) tests for new behavior and pass-to-pass (P2P) tests for existing behavior on the reference code before and after each stage. We evaluated 10 coding agents on 73 manually reviewed tasks of 2 to 10 stages. Each agent works in one persistent session and workspace without external test feedback or rollback. The evaluation reveals a gap between first-stage and whole-feature success: pooled success falls from 62.7% at the first stage to 28.5% when the whole feature is tested on the final code. Trajectory analysis identifies inherited defects as a common failure mechanism, present in 72.9% of failed later stages. These earlier errors often remain undetected: in stages following a failure, agents leave the earlier error unnoticed about 95% of the time, and their self-tests rarely revisit earlier stages. Evolving a feature autonomously, without human checks between stages, therefore remains a substantial challenge for current coding agents. At Tencent, the pipeline extends internal evaluations to this setting and guides the development of Hunyuan, Tencent's family of large language models.
- Abstract（参考訳）: 開発者は新しいユースケースと要求が到着するにつれて最初のバージョンを拡張し、それぞれの拡張は先に書かれたコードの上に構築される。
ほとんどの機能ベンチマークは、固定されたコードベースで単一の要求を評価する。
機能の進化には、エージェント自身の前のコードで連続した拡張を評価し、その機能が正しいかどうかをチェックする必要がある。
進化する機能のコーディングエージェントを評価するためのFeatureArcと、リポジトリ履歴からタスクを構築するパイプラインを紹介します。
このベンチマークでは、同一機能の連続的なステージ、明示的な要件とインターフェースのコントラクト、および4つのプログラミング言語間の実行可能チェックの依存関係が組み合わされている。
パイプラインは、新しい振る舞いに対するフェール・ツー・パス(F2P)テストと、各ステージ前後の参照コードに対する既存の振る舞いに対するパス・トゥ・パス(P2P)テストを検証する。
73件のコーディングエージェント10件について,2段階から10段階のタスクを手作業で評価した。
各エージェントは、外部のテストフィードバックやロールバックなしで、1つの永続的なセッションとワークスペースで動作する。
プールされた成功は、最初の段階で62.7%から最終コードで全機能がテストされた時点で28.5%に低下する。
軌道解析は、後段の72.9%の障害のメカニズムとして、継承された欠陥を識別する。
失敗のあとの段階では、エージェントは前のエラーを95%の時間で認識せず、自己検査が早い段階で再確認されることは滅多にない。
ステージ間の人間によるチェックなしに、機能を自律的に進化させることは、現在のコーディングエージェントにとって大きな課題である。
Tencentでは、パイプラインが内部評価をこの設定に拡張し、Tencentの大規模言語モデルファミリーであるHunyuanの開発をガイドしている。
関連論文リスト
- FeatureLoop: Benchmarking Coding Agents under Evolving Requirements [9.803830098681557]
5つの主要なプログラミング言語と7つのソフトウェアフォームにわたる34のリポジトリから61のヒューマンレビュータスクのベンチマークであるFeatureLoopを紹介した。
12のフロンティアモデルを評価し、最強のタスクの72.1%が両方のフィードバックタイプで完了していることがわかった。
しかし、全モデルで2回の修正修正で回復した段階は15.4%に過ぎなかった。
論文 参考訳（メタデータ） (2026-10-26T14:15:53Z) - SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。
我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。
クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
論文 参考訳（メタデータ） (2026-10-23T05:47:59Z) - Do Modifications Made by Coding Agents Make Subsequent Software Maintenance Harder? [10.29059341399134]
コーディングエージェントは時間の経過とともにリポジトリを維持し、各変更がその後のタスクの出発点となる。
エージェント記述のコードがその後のメンテナンスを難しくするのか、コストが継承されたテスト失敗によるものなのか、あるいはコード自体によるものなのかを問う。
我々はSWE-Maintainを紹介し、50の現実のPythonリポジトリから100の3時間メンテナンスエピソードを含む。
論文 参考訳（メタデータ） (2026-10-10T09:45:17Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks [60.600151982455195]
ProgramDistillは、完全に機能する参照アプリケーションとのインタラクションによって発見された機能について、コーディングエージェントを評価するベンチマークである。
私たちのパイプラインであるマイニングクラフトパッチは、26のアプリケーションにまたがる1,975のリプレイ検証された振る舞いを発見し、人間の介入なしに4,063のタスクを構築します。
論文 参考訳（メタデータ） (2026-09-16T15:19:05Z) - Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳（メタデータ） (2026-08-17T22:36:12Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。