論文の概要: SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
- arxiv url: http://arxiv.org/abs/2610.32196v1
- Date: Fri, 23 Oct 2026 05:47:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.399853
- Title: SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
- Title（参考訳）: SWE-Shift: 進化するワークスペースにおけるコーディングエージェントの評価
- Abstract要約: ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。
我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。
クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
- 参考スコア（独自算出の注目度）: 59.99170893706881
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Repository-level coding benchmarks largely assume that tasks and environments remain unchanged throughout execution. In software development, code, dependencies, runtime state, and requirements can change while an agent is still working. We introduce SWE-Shift, a benchmark for evaluating coding agents under such mid-execution changes. From the same saved history and workspace, a Clean continuation proceeds without intervention, while a matched Shifted continuation receives a task-relevant update. Success requires completing the current task, preserving still-valid work, and satisfying the applicable state and evidence checks. The benchmark contains 120 scenarios across 12 change families, each evaluated at nine scheduled intervention positions. We evaluate 17 coding-agent systems, all of which have lower Shifted than Clean success. GPT-6 Astra drops from 67.35% to 24.79%, with 20.34% paired success. Tool/session changes and stale evidence yield zero paired success across all systems. Late-position paired success is lower for some systems and higher for others. These results show that success on the unchanged task can coexist with failures to preserve work, recover state, or refresh evidence after an update.
- Abstract（参考訳）: リポジトリレベルのコーディングベンチマークは、実行中はタスクと環境が変わらないと仮定している。
ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。
我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。
同じ保存された履歴とワークスペースから、クリーンな継続は介入なしに進行し、マッチしたシフトされた継続はタスク関連のアップデートを受けます。
成功には、現在のタスクを完了し、有効な作業を保持し、適用可能な状態とエビデンスチェックを満たす必要がある。
ベンチマークには12の変更ファミリーにわたる120のシナリオが含まれており、それぞれが予定される9つの介入位置で評価されている。
クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
GPT-6 アストラは67.35%から24.79%に低下し、20.34%が成功した。
ツール/セッションの変更と古いエビデンスによって、すべてのシステムでゼロのペアが成功します。
レイトポジションのペアの成功は、一部のシステムでは低く、他のシステムでは高くなります。
これらの結果は、変更のないタスクの成功は、作業の保存、状態回復、あるいは更新後の証拠の更新に失敗する可能性があることを示している。
関連論文リスト
- Correct Answers, Closed Gates: SolveBind for GUI Agents at the Verification Barrier [23.564044673484418]
本稿では,階層的問題解決と実行監視を組み合わせたGUIエージェントフレームワークであるSolveBindを紹介する。
9つのCAPTCHAタスクファミリと9つのバックボーンモデルの中で、SolveBindは8つのバックボーンで最高成功率を達成した。
ペア化された GPT-5.5 分析では、MobileAgent は正しい答えを生成するが、90タスク中13タスクの動的検証に失敗し、SolveBind は7つのタスクで成功している。
論文 参考訳（メタデータ） (2026-10-23T06:27:37Z) - SkillHorizon: Constructing Long-Horizon Agent Tasks through Skill Composition [52.51270668013944]
ロングホライゾンエージェントは、後のアクティビティが以前の出力と共有状態の変更に依存するように完了しなければならない。
SkillHorizonは、7つのビジネス環境でのスキル構成を通じて長期タスクを構築するベンチマークである。
我々は,64Kから1Mトークンの参照インタラクションワークロードを用いた1,050タスクの5つの言語モデルを評価する。
論文 参考訳（メタデータ） (2026-10-10T14:36:39Z) - Do Modifications Made by Coding Agents Make Subsequent Software Maintenance Harder? [10.29059341399134]
コーディングエージェントは時間の経過とともにリポジトリを維持し、各変更がその後のタスクの出発点となる。
エージェント記述のコードがその後のメンテナンスを難しくするのか、コストが継承されたテスト失敗によるものなのか、あるいはコード自体によるものなのかを問う。
我々はSWE-Maintainを紹介し、50の現実のPythonリポジトリから100の3時間メンテナンスエピソードを含む。
論文 参考訳（メタデータ） (2026-10-10T09:45:17Z) - SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows [16.693609667845948]
SKILL.nbは,エビデンス・リバース・キャリブレーションによるライフサイクルポリシーによる再利用可能なエージェント管理のためのフレームワークである。
SKILL.nbは選択的な形式化を使用する: 実行はどのワークフローステップを実行可能なコードにするかを決定する。
ゲート条件付き実行では、各ステップがゲートの検証時にコードを実行したり、ドリフトが実行可能実現を無効にした場合にローカルにフォールバックすることが可能になる。
論文 参考訳（メタデータ） (2026-06-06T08:27:18Z) - Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。
各リリースは、公開ワークフロー要求信号から構築される。
Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
論文 参考訳（メタデータ） (2026-04-30T17:23:19Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。