論文の概要: SWE-Residual: Evaluating Starting-State Robustness of Coding Agents

• arxiv url: http://arxiv.org/abs/2610.25899v1
• Date: Mon, 19 Oct 2026 07:00:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:09:45.563949
• Title: SWE-Residual: Evaluating Starting-State Robustness of Coding Agents
• Title（参考訳）: SWE-Residual:コーディングエージェントの開始状態ロバスト性の評価
• Abstract要約: SWE-Residualは、開始状態にそのタスクに関する以前の作業が含まれている場合、タスクのパフォーマンスを維持できるためのベンチマークである。 クリーンスタート評価が捉えない機能ギャップを露呈する。
• 参考スコア（独自算出の注目度）: 21.99711306523695
• License:
• Abstract: Software engineering (SWE) benchmarks are the primary way to measure the capabilities of coding agents: an agent is placed in a code repository or machine environment, given a request, and judged by hidden tests. These benchmarks almost always start the agent from a clean state that contains no earlier work on the task. In practice, however, agents often continue work that a developer or another agent has already done and reported as complete, with no indication of what remains incorrect or missing. We introduce SWE-Residual, a benchmark for Starting-State Robustness: the ability to maintain performance on a task when the starting state already contains earlier work on that task. SWE-Residual contains 198 Residual States drawn from 111 tasks in DeepSWE and Terminal-Bench, where the earlier work modifies a code repository or a whole machine environment. Each Residual State is the state a predecessor agent left behind after submitting its work as complete, although the hidden tests still fail. The evaluated agent receives only the original request and this state, without the predecessor's trajectory or any sign that the attempt failed; because the request and hidden tests are unchanged, the starting state is the only difference from the source benchmark. Across five frontier agents, success drops by 20.6--53.5 percentage points on DeepSWE and 20.6--34.9 points on Terminal-Bench relative to a Clean Start, and agent rankings on DeepSWE reverse. Failed continuations show a pattern we call acceptance bias: agents treat the inherited work as the definition of what remains to be done instead of checking it against the request. On DeepSWE, in 58.9--88.2% of failed runs, they submit with exactly the same tests failing, although they pass most of these tests from a Clean Start. SWE-Residual thus exposes a capability gap that clean-start evaluation does not capture.
• Abstract（参考訳）: ソフトウェアエンジニアリング(SWE)ベンチマークは、コーディングエージェントの能力を測定するための主要な方法である。 これらのベンチマークは、ほとんどの場合、タスクに関する以前の作業を含まないクリーンな状態からエージェントを起動する。 しかし、実際には、しばしばエージェントは、開発者または他のエージェントが既にやっていた仕事を継続し、完了したと報告する。 我々は、開始状態ロバストネスのベンチマークであるSWE-Residualを紹介した。 SWE-Residualには、DeepSWEとTerminal-Benchの111タスクから引き出された198のResidual Statesが含まれている。 各残留状態は、その作業が完了した後に残された前任のエージェントである。 評価されたエージェントは、元の要求とこの状態のみを受け取り、前者の軌跡や試行が失敗した兆候がない。 5つのフロンティアエージェント、DeepSWEの20.6-53.5ポイント、クリーンスタートの20.6-34.9ポイント、DeepSWEのエージェントランキングが逆になっている。 フェールした継続は、私たちが受け入れバイアスと呼ぶパターンを示します。エージェントは、リクエストに対してそれをチェックするのではなく、継承された作業の定義として扱います。 DeepSWEでは、58.9--88.2%の失敗で、全く同じテストが失敗して提出されるが、これらのテストのほとんどはクリーンスタートからパスする。 SWE-Residualは、クリーンスタート評価が捉えない機能ギャップを公開する。

関連論文リスト

• Do Modifications Made by Coding Agents Make Subsequent Software Maintenance Harder? [10.29059341399134]
  コーディングエージェントは時間の経過とともにリポジトリを維持し、各変更がその後のタスクの出発点となる。 エージェント記述のコードがその後のメンテナンスを難しくするのか、コストが継承されたテスト失敗によるものなのか、あるいはコード自体によるものなのかを問う。 我々はSWE-Maintainを紹介し、50の現実のPythonリポジトリから100の3時間メンテナンスエピソードを含む。
  論文  参考訳（メタデータ） (2026-10-10T09:45:17Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows [2.281697288703173]
  Thinkingboxはツールエージェントとユーザインタラクションのためのサンドボックスだ。 独立したMPP互換ツールセッション、完全な実行トレース、端末バックエンドに対する結果評価を提供する。 Thinkingboxbenchには、さまざまなシナリオにわたる507のベンチマークとステートコンディションベンチマークが含まれている。
  論文  参考訳（メタデータ） (2026-08-20T07:37:57Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
  DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。 タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。 SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
  論文  参考訳（メタデータ） (2026-07-08T21:45:34Z)
• EvoCode-Bench: Evaluating Coding Agents in Multi-Turn Iterative Interactions [9.297494684604763]
  EvoCode-Benchは26のステートフルコーディングタスクと227のラウンドのベンチマークである。 各タスクはエージェントのワークスペースを5～15ラウンド保存し、観測可能な振る舞いを通じて要求を記述する。 MT@4は4段階のフェールストップマルチラウンドスコアであり、SRは参照完了前の状態からのシングルラウンドスコアである。
  論文  参考訳（メタデータ） (2026-05-22T18:17:28Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。