論文の概要: Switch-SWE: Do Coding Agents Hold Focus When Switching Between Unfinished Tasks?
- arxiv url: http://arxiv.org/abs/2611.02017v1
- Date: Sun, 01 Nov 2026 16:04:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.521125
- Title: Switch-SWE: Do Coding Agents Hold Focus When Switching Between Unfinished Tasks?
- Title(参考訳): Switch-SWE:未完了タスク間の切り替えにおいて、コーディングエージェントはフォーカスを保持するか?
- Abstract要約: 既存のベンチマークは1つのイシュー・トゥ・パッチのエピソードをスコアし、エージェントが同じリポジトリで他の未完了の作業を進めた後にタスクを再開できるかどうかを測定する。
我々は、同じソースリポジトリから引き出された未完了タスクをインターリーブするセッションにおけるフォーカスタスク再使用のためのベンチマークを開発する。
本稿では,タスク関連履歴を選択し,タスク状態の簡潔な要約を維持するプラグインコンテキスト管理モジュールを提案する。
- 参考スコア(独自算出の注目度): 32.81927175083663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software development sessions often involve several unfinished tasks rather than one issue carried through to completion. As coding agents take on repository-level development, they need to recover an earlier task's requirements and partial progress after intervening work. Existing repository-level benchmarks typically score one issue-to-patch episode and do not directly measure whether an agent can resume a task after advancing other unfinished work in the same repository. We introduce \textbf{\ourmethod}, a benchmark for focus-task resumption in sessions that interleave unfinished tasks drawn from the same source repository, with a persistent checkout for each task. Each focus task is evaluated in matched uninterrupted and switched sessions with identical focus requirements and executable verifiers. The switched session interleaves ordered stages from other unfinished tasks in the same repository, while only the final focus patch is scored. \ourmethod~contains 200 focus tasks from 19 Python repositories, reconstructed from issue, pull-request, and review histories and rendered as 400 matched session specifications. Across 7 coding agents, interleaved unfinished work produces an average focus-task resolution gap of 11.5 percentage points, ranging from 6.0 to 15.0 percentage points. Trajectory analysis identifies cross-task requirement confusion and loss of task state as recurrent resumption behaviors. We introduce a plug-in context-management module that selects task-relevant history and maintains concise task-state summaries. On OpenCode, the module improves focus-task completion under same-repository task switching by 5.5 to 15.5 percentage points across the evaluated models. Code is available at github.com/Miraclecsc/Switch-SWE.
- Abstract(参考訳): ソフトウェア開発セッションには、完了までの1つの課題ではなく、いくつかの未完了のタスクが関係することが多い。
コーディングエージェントはリポジトリレベルの開発を行うため、作業の中断後、以前のタスクの要件と部分的な進捗を回復する必要があります。
既存のリポジトリレベルのベンチマークでは、通常、1つのイシュー・ツー・パッチのエピソードをスコアし、エージェントが同じリポジトリで他の未完了の作業を進めた後にタスクを再開できるかどうかを直接測定しません。
これは、同じソースリポジトリから引き出された未完了タスクをインターリーブするセッションでフォーカスタスクを再消費するためのベンチマークであり、各タスクに対して永続的なチェックアウトを提供する。
各フォーカスタスクは、同一のフォーカス要件と実行可能な検証器で一致した未中断セッションと切替セッションで評価される。
切り替えられたセッションは、同じリポジトリ内の他の未完了タスクから順序づけられたステージをインターリーブし、最終フォーカスパッチだけがスコア付けされる。
\ourmethod~は、19のPythonリポジトリから200のフォーカスタスクを持ち、イシューから再構築され、プルリクエストされ、履歴をレビューし、400のマッチしたセッション仕様としてレンダリングされる。
7つのコーディングエージェントのうち、インターリーブされた未完成の作業は、平均フォーカスタスクの解像度ギャップが11.5ポイント(6.0から15.0ポイント)になる。
トラジェクトリ分析は、繰り返し再消費行動として、クロスタスク要求の混乱とタスク状態の喪失を識別する。
本稿では,タスク関連履歴を選択し,タスク状態の簡潔な要約を維持するプラグインコンテキスト管理モジュールを提案する。
OpenCodeでは、同リポジトリのタスク切替によるフォーカスタスクの完了を、評価モデル全体で5.5から15.5ポイント改善している。
コードはgithub.com/Miraclecsc/Switch-SWEで入手できる。
関連論文リスト
- Harvesting SWE Benchmarks from Wild Vibe Coding Sessions [9.307383793999525]
開発チームは、自身のリポジトリから再現可能なタスクを必要とし、コーディングエージェントを評価する。
SessionFarmerは、これらのレコードを自己完結型の実行可能なソフトウェアエンジニアリングタスクに変換する自動化フレームワークです。
61のパブリックリポジトリと14のプログラミング言語にわたる242タスクのオープンベンチマークであるCropChatと、プロプライエタリなエンタープライズログからCropEnterpriseを構築します。
論文 参考訳(メタデータ) (2026-11-02T03:02:59Z) - FeatureArc: Benchmarking Coding Agents on Evolving Features [9.803830098681557]
機能の進化には、エージェント自身の以前のコードで連続した拡張を評価する必要がある。
進化する機能のコーディングエージェントを評価するためのFeatureArcと、リポジトリ履歴からタスクを構築するパイプラインを紹介します。
論文 参考訳(メタデータ) (2026-10-27T15:45:50Z) - SWE-Shift: Evaluating Coding Agents in Evolving Workspaces [59.99170893706881]
ソフトウェア開発では、エージェントが動作している間、コード、依存関係、ランタイム状態、要件が変更される可能性がある。
我々は,このような中間実行変化下でのコーディングエージェント評価のベンチマークであるSWE-Shiftを紹介する。
クリーンな成功よりもシフトの少ない17のコーディングエージェントシステムを評価した。
論文 参考訳(メタデータ) (2026-10-23T05:47:59Z) - Do Modifications Made by Coding Agents Make Subsequent Software Maintenance Harder? [10.29059341399134]
コーディングエージェントは時間の経過とともにリポジトリを維持し、各変更がその後のタスクの出発点となる。
エージェント記述のコードがその後のメンテナンスを難しくするのか、コストが継承されたテスト失敗によるものなのか、あるいはコード自体によるものなのかを問う。
我々はSWE-Maintainを紹介し、50の現実のPythonリポジトリから100の3時間メンテナンスエピソードを含む。
論文 参考訳(メタデータ) (2026-10-10T09:45:17Z) - WideSWE: Can Coding Agents Coordinate Changes Across Repositories? [26.071091542185957]
クロスリポジトリタスクにおける符号化エージェントの評価にWideSWEを導入する。
103のソフトウェアエコシステムにおける変更のマイニングとレビューは120の実際のタスクをもたらし、60のバグ修正と60の機能のバランスをとる。
完全なタスク成功は10.83%から42.50%の範囲で、設定ペアのCodex CLIとGPT-5.6-solが最高速度を達成している。
論文 参考訳(メタデータ) (2026-09-27T09:02:49Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳(メタデータ) (2026-07-23T04:34:06Z) - RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
論文 参考訳(メタデータ) (2026-07-07T15:41:22Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳(メタデータ) (2026-04-26T16:05:02Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳(メタデータ) (2024-05-13T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。