論文の概要: Take It From Here: Evaluating Coding Agents On Project Takeover
- arxiv url: http://arxiv.org/abs/2611.07307v1
- Date: Thu, 05 Nov 2026 01:45:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.486856
- Title: Take It From Here: Evaluating Coding Agents On Project Takeover
- Title（参考訳）: プロジェクトテイクオーバにおけるコーディングエージェントの評価
- Abstract要約: 我々は、インタラクション履歴、現在の要求、およびプロジェクト前環境をエージェントに提供します。
次に、要求原子を用いて、より大きなテイクオーバーターゲットの集合を独立に診断する。
診断では、6つの構成のうち、完全な要求後の要求状態が得られないことが示されている。
- 参考スコア（独自算出の注目度）: 13.96955617216753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents increasingly collaborate on long-term projects. When taking over a project, they need to recover currently applicable requirements from the interaction history and update them in response to new requests. However, most coding benchmarks do not include long interaction histories, and some evaluations that consider history still do not cover the full process from requirement reconstruction to project delivery. We therefore provide agents with the interaction history, current request, and pre-request project environment, ask them to make the requested changes, and assess takeover performance through delivery tests. Across six model-harness configurations and 37 targets eligible for executable validation, the mean complete-delivery rate under Full History is only 4.95%. We then use requirement atoms to independently diagnose a larger set of takeover targets, examining relevant information identification, pre-request state reconstruction, and current request processing. We further supply correct pre-request or target states to examine the remaining difficulties in requirement processing and project modification. The diagnostics show that none of the six configurations produces fully correct post-request requirement states, and a case illustrates omission of previously recovered constraints during updating. With correct target states supplied, the mean complete-delivery rate is 8.11%, with build and regression pass rates of 96.40% and 90.99%, but target-test success remains 9.01%. These results show difficulties in both forming target requirement states and implementing supplied targets in existing projects. Based on these findings, we introduce ReqMemBench, which combines requirement diagnostics with delivery validation to support systematic evaluation of project takeover.
- Abstract（参考訳）: コーディングエージェントは、長期プロジェクトでますます協力する。
プロジェクトを引き継ぐには、現在適用されている要件をインタラクション履歴から回復し、新しいリクエストに応じて更新する必要がある。
しかし、ほとんどのコーディングベンチマークは、長い相互作用履歴を含まないため、歴史を考慮に入れているいくつかの評価は、要求の再構築からプロジェクト提供までのプロセス全体をカバーしていない。
そのため、インタラクション履歴、現在の要求、プロジェクト前環境をエージェントに提供し、要求された変更を依頼し、デリバリテストによるオーバパフォーマンスを評価します。
6つのモデルハーネス構成と37のターゲットが実行可能検証が可能であり、フルヒストリーの平均完結率は4.95%である。
次に、要求原子を用いて、より大きな取得対象のセットを独立に診断し、関連する情報識別、要求前状態再構築、現在の要求処理を調べます。
さらに、要件処理およびプロジェクト修正における残りの困難を検証するために、適切な事前要求または目標状態を提供する。
診断では、6つの構成のうち、完全に正しい要求後の要求状態を生成していないことが示され、その場合、更新中に以前に回復した制約が削除されたことを示す。
正確な目標状態が供給された場合、平均完納率は8.11%であり、ビルドとレグレッションのパスレートは96.40%と90.99%であるが、目標テストの成功率は9.01%である。
これらの結果から,既存のプロジェクトにおいて,目標要件状態の形成と供給目標の実現の両立が困難であることが示唆された。
これらの知見に基づいて,要件診断と納品検証を組み合わせたReqMemBenchを導入し,プロジェクトテイクオーバーの体系的評価を支援する。
関連論文リスト
- Benchmarking Coding Agents under Evolving Requirements [9.803830098681557]
5つの主要なプログラミング言語と7つのソフトウェアフォームにわたる34のリポジトリから61のヒューマンレビュータスクのベンチマークであるFeatureLoopを紹介した。
12のフロンティアモデルを評価し、最強のタスクの72.1%が両方のフィードバックタイプで完了していることがわかった。
しかし、全モデルで2回の修正修正で回復した段階は15.4%に過ぎなかった。
論文 参考訳（メタデータ） (2026-10-26T14:15:53Z) - Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems [58.89141999692635]
提案するSpeculative Recursive Self-Improvement(SpecRSI)は,前任者が十分に評価される前に,実行可能な後継エージェントをドラフトする。
VATSは、予測された継続の返却を使って、さらなる編集と優れたチェックの間に予算を割り当てる。
グループ検証最適化(GVO)は、実際の評価器を固定しながら、完了した探索から改善器を学習する。
論文 参考訳（メタデータ） (2026-10-12T09:43:48Z) - SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition [52.51270668013944]
ロングホライゾンエージェントは、後のアクティビティが以前の出力と共有状態の変更に依存するように完了しなければならない。
SkillHorizonは、7つのビジネス環境でのスキル構成を通じて長期タスクを構築するベンチマークである。
我々は,64Kから1Mトークンの参照インタラクションワークロードを用いた1,050タスクの5つの言語モデルを評価する。
論文 参考訳（メタデータ） (2026-10-10T14:36:39Z) - Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - Dude, Where's My State? Execution Information Requirements for Stateful Agents [10.501126275738219]
本研究では,個々の作業の難易度から情報需要,維持,回復を別々に変化させるような,既知の依存関係を持つタスクを生成するフレームワークを開発する。
エージェント実行トレースを使用してセマンティックグラフを構築し,実際のタスクに対する情報要求を計測するVESTIGEも導入する。
論文 参考訳（メタデータ） (2026-09-26T14:48:41Z) - Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments [46.958911818255565]
Change2Taskは、統合されたプルリクエストを、同じリポジトリの健全なモダンなリビジョンに関する検証されたタスクに変換する。
歴史的証拠を進化したコードと整合させ、パッチリバーサル、コードマッピング、エージェント再構築を通じてタスク状態を再構築する。
本システムは,バグフィックス,機能追加,テスト生成,アプリケーションプログラミングインタフェースのマイグレーション,セキュリティ修復という,広く普及している5つのプログラミングエージェントタスクファミリを通じて評価する。
論文 参考訳（メタデータ） (2026-07-30T17:44:31Z) - ProjDevBench: Benchmarking AI Coding Agents on End-to-End Project Development [49.63491095660809]
ProjDevBenchはエンドツーエンドのベンチマークで、コーディングエージェントにプロジェクト要件を提供し、その結果のリポジトリを評価する。
概念指向タスクと実世界のアプリケーションシナリオの両方をカバーし、8つのカテゴリにまたがる20のプログラミング問題をキュレートします。
エージェントは基本的な機能を扱うが、複雑なシステム設計、時間最適化、リソース管理に苦労する。
論文 参考訳（メタデータ） (2026-02-02T05:17:23Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。