論文の概要: EvoCode-Bench: Evaluating Coding Agents in Multi-Turn Iterative Interactions
- arxiv url: http://arxiv.org/abs/2605.24110v1
- Date: Fri, 22 May 2026 18:17:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:17.634622
- Title: EvoCode-Bench: Evaluating Coding Agents in Multi-Turn Iterative Interactions
- Title（参考訳）: EvoCode-Bench:マルチターン反復相互作用における符号化エージェントの評価
- Authors: Haiyang Shen, Xuanzhong Chen, Wendong Xu, Yun Ma, Liang Chen, Kuan Li,
- Abstract要約: EvoCode-Benchは26のステートフルコーディングタスクと227のラウンドのベンチマークである。
各タスクはエージェントのワークスペースを5～15ラウンド保存し、観測可能な振る舞いを通じて要求を記述する。
MT@4は4段階のフェールストップマルチラウンドスコアであり、SRは参照完了前の状態からのシングルラウンドスコアである。
- 参考スコア（独自算出の注目度）: 9.297494684604763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents are increasingly used as iterative development partners, but most benchmarks still evaluate one specification followed by one final assessment. This leaves out a basic question: can an agent keep its own codebase working as requirements change? We introduce EvoCode-Bench, a benchmark of 26 stateful coding tasks and 227 evaluated rounds. Each task preserves the agent's workspace for 5-15 rounds, states requirements through observable behavior, and uses cumulative executable tests to check new requirements and still-active prior ones. We evaluate 13 coding agents with two metrics: MT@4, a four-attempt fail-stop multi-round score, and SR, a single-round score from a reference-completed prior state. For most agents, SR exceeds MT@4 by 22-40 points. The gap also changes rankings: the highest-SR agent (78.9) ranks only third in persistent execution (44.0 MT@4). Even the strongest agents achieve only about 50% success on multi-turn metrics, and aggregate pass rate drops below half of round-1 performance by round 5. Failure analysis shows tier-dependent behavior: weaker agents fail early, while stronger agents survive long enough to expose specification-tracking and regression failures. We release the benchmark data and Harbor multi-turn infrastructure.
- Abstract（参考訳）: コーディングエージェントは、反復的な開発パートナーとして使われることが多いが、ほとんどのベンチマークは、仕様を1つ評価し、最終的な評価を1つ行ったままである。
エージェントは、要求が変わるにつれて、自身のコードベースを動作させ続けることができるのか?
EvoCode-Benchは26のステートフルコーディングタスクと227の評価ラウンドのベンチマークである。
各タスクは、エージェントのワークスペースを5～15ラウンド保存し、観測可能な振る舞いを通じて要求を記述し、累積実行可能なテストを使用して、新しい要求とまだアクティブな前の要求をチェックする。
MT@4は4段階のフェールストップマルチラウンドスコアであり、SRは参照完了前の状態からのシングルラウンドスコアである。
ほとんどのエージェントでは、SRはMT@4を22-40ポイント上回る。
最高レベルのSRエージェント(78.9)は、持続的な実行で3位(44.0 MT@4)である。
最強のエージェントでさえ、マルチターンの指標では50%程度しか成功せず、ラウンド5ではラウンド1のパフォーマンスの半分以下に低下する。
より弱いエージェントは早期にフェールし、強いエージェントは仕様追跡と回帰失敗を公開するのに十分な長さで存続する。
ベンチマークデータとHarborのマルチターンインフラストラクチャをリリースします。
関連論文リスト
- AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation [11.272830796781925]
8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。
このサブセットで通過する軌道の中で、10.7%はラッキーパスと呼ばれる振る舞いを示す。
本稿では,SWEエージェント軌道のプロセスレベル評価フレームワークであるAgentLensを紹介する。
論文 参考訳（メタデータ） (2026-05-13T03:00:57Z) - Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values [17.752804388034583]
Agent-ValueBenchは、エージェント値専用の最初のベンチマークである。
16ドメインにわたる394の実行可能な環境を備え、4,335のバリューコンフリクトタスクを提供する。
エージェント値は、解釈可能な反電流の下で、クロスモデル均質のバリュータイドとして最初に現れる。
論文 参考訳（メタデータ） (2026-05-11T11:09:04Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。