論文の概要: FeatureLoop: Benchmarking Coding Agents under Evolving Requirements
- arxiv url: http://arxiv.org/abs/2610.35488v1
- Date: Mon, 26 Oct 2026 14:15:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.024997
- Title: FeatureLoop: Benchmarking Coding Agents under Evolving Requirements
- Title（参考訳）: FeatureLoop: 進化する要件下でのコーディングエージェントのベンチマーク
- Abstract要約: 5つの主要なプログラミング言語と7つのソフトウェアフォームにわたる34のリポジトリから61のヒューマンレビュータスクのベンチマークであるFeatureLoopを紹介した。
12のフロンティアモデルを評価し、最強のタスクの72.1%が両方のフィードバックタイプで完了していることがわかった。
しかし、全モデルで2回の修正修正で回復した段階は15.4%に過ぎなかった。
- 参考スコア（独自算出の注目度）: 9.803830098681557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Software development with coding agents often begins with a rough request that users refine after trying the implementation. Final correctness alone does not capture the repeated guidance this process requires. We introduce FeatureLoop, a benchmark of 61 human-reviewed tasks from 34 repositories across five primary programming languages and seven software forms. Each task follows one development goal in a persistent workspace through evolution feedback, which adds or clarifies requirements, and completion feedback, which reports failures of stated requirements. Cumulative executable checks track new behavior, repair, and preservation of earlier functionality. We evaluate 12 frontier models and find that the strongest completes 72.1% of tasks with both feedback types. Across models, however, only 15.4% of observed failed stages recover within two corrective revisions. Further analysis reveals incomplete repairs, regressions, and model-specific differences in feedback use and token efficiency, identifying obstacles to reliable, low-intervention development.
- Abstract（参考訳）: コーディングエージェントを使ったソフトウェア開発は、実装を試した後、ユーザが洗練するように、粗い要求から始まることが多い。
最終的な正しさだけでは、このプロセスが必要とする反復的なガイダンスを捉えません。
5つの主要なプログラミング言語と7つのソフトウェアフォームにわたる34のリポジトリから61のヒューマンレビュータスクのベンチマークであるFeatureLoopを紹介した。
各タスクは、要求の追加または明確化、および要求の失敗を報告する完了フィードバックを通じて、永続的なワークスペースにおける1つの開発目標に従う。
累積実行可能チェックは、以前の機能の振る舞い、修復、および保存を追跡する。
12のフロンティアモデルを評価し、最強のタスクの72.1%が両方のフィードバックタイプで完了していることがわかった。
しかし、全モデルで2回の修正修正で回復した段階は15.4%に過ぎなかった。
さらなる分析では、不完全な修復、回帰、フィードバックの使用とトークン効率のモデル固有の相違を明らかにし、信頼性の高い低干渉開発への障害を特定する。
関連論文リスト
- AdaPRA: Process Reward Agents with Adaptive Rubrics for Data Science [61.06192512211444]
データサイエンスエージェントはエンドツーエンドの機械学習を自動化することができるが、人間のリーダーボードとの競争には程遠い。
我々はこれらの問題に対処するためにAdaPRAを提案する: 同一タスクの試行にまたがって知識を蓄積する永続的符号化エージェントと、エラーを特定し修正するルーリック誘導プロセス監視。
AdaPRAはタスク毎の5つの試行により、80B QwenモデルのパーセンタイルをDSPredict-Easyで24.5ポイント、DS-Hardで14.8ポイント改善し、プロセスエラーを減らす。
論文 参考訳（メタデータ） (2026-10-23T19:46:55Z) - From Software History to Executable Regression Tasks: A System for Evaluating Software Agents [31.285329044029925]
本稿では,過去のコミットペアと開発者テストから実行可能な回帰インスタンスを構築するシステムを提案する。
このシステムは、固定側の変更から候補テストを抽出し、制約されたエージェントを使用して移植し、バージョン固有の環境を設定する。
我々は,3つのタスクに対して,手作業で選択した83のインスタンスに対して,10のモデルと追加の推論・実行設定を備えた3つのソフトウェアエージェントを評価した。
論文 参考訳（メタデータ） (2026-10-18T14:40:58Z) - Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems [58.89141999692635]
提案するSpeculative Recursive Self-Improvement(SpecRSI)は,前任者が十分に評価される前に,実行可能な後継エージェントをドラフトする。
VATSは、予測された継続の返却を使って、さらなる編集と優れたチェックの間に予算を割り当てる。
グループ検証最適化(GVO)は、実際の評価器を固定しながら、完了した探索から改善器を学習する。
論文 参考訳（メタデータ） (2026-10-12T09:43:48Z) - E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch [22.683140191384652]
コーディングエージェントが完全に機能するソフトウェアリポジトリをエンドツーエンドに構築できるかどうかを評価するベンチマークであるE2E-SWEを紹介する。
E2E-SWEは、11のプログラミング言語にまたがる186のリポジトリ生成タスクを含んでいる。
Pass@1は11.7%から67.7%の範囲である。
論文 参考訳（メタデータ） (2026-09-29T18:02:25Z) - ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks [60.600151982455195]
ProgramDistillは、完全に機能する参照アプリケーションとのインタラクションによって発見された機能について、コーディングエージェントを評価するベンチマークである。
私たちのパイプラインであるマイニングクラフトパッチは、26のアプリケーションにまたがる1,975のリプレイ検証された振る舞いを発見し、人間の介入なしに4,063のタスクを構築します。
論文 参考訳（メタデータ） (2026-09-16T15:19:05Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳（メタデータ） (2026-08-05T09:09:00Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - Automating Formal Verification with Reinforcement Learning and Recursive Inference [0.0]
我々はダフニーで検証可能な報酬(RLVR)と検証者誘導推論時間探索を用いてオープンソースモデルを訓練する。
固定ベースモデルでは、証明修正器を備えた完全な足場は、直接修理中の初期VeriCodingパイロットセットのパスレートを46.2%から69.2%に改善する。
Rust $texttcurve25519-dalek$検証プロジェクトから派生した,レポジトリスケールのLeanベンチマークであるDalek-Benchについても紹介します。
論文 参考訳（メタデータ） (2026-05-29T06:59:28Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。