論文の概要: WideSWE: Can Coding Agents Coordinate Changes Across Repositories?
- arxiv url: http://arxiv.org/abs/2609.33382v1
- Date: Sun, 27 Sep 2026 09:02:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:35:01.293636
- Title: WideSWE: Can Coding Agents Coordinate Changes Across Repositories?
- Title（参考訳）: WideSWE: コーディングエージェントはリポジトリ間で変化を調整することができるか?
- Abstract要約: クロスリポジトリタスクにおける符号化エージェントの評価にWideSWEを導入する。
103のソフトウェアエコシステムにおける変更のマイニングとレビューは120の実際のタスクをもたらし、60のバグ修正と60の機能のバランスをとる。
完全なタスク成功は10.83%から42.50%の範囲で、設定ペアのCodex CLIとGPT-5.6-solが最高速度を達成している。
- 参考スコア（独自算出の注目度）: 26.071091542185957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding-agent evaluation has progressed from resolving individual issues to carrying out long-horizon development, yet task completion is still largely assessed within a single codebase. In software ecosystems, many features and bug fixes require coordinated changes across multiple repositories. We introduce WideSWE to evaluate coding agents on such cross-repository tasks. Mining and reviewing changes across 103 software ecosystems yields 120 real-world tasks, balanced between 60 bug fixes and 60 features. We derive prompts from related issues and pull requests. We systematically review and adapt hidden tests to support diverse correct implementations while preserving required behavior and regression checks. Across seven agent configurations, full task success ranges from 10.83% to 42.50%, with the configuration pairing Codex CLI with GPT-5.6-sol achieving the highest rate. Trajectories show agents failing to identify necessary changes, recognizing changes but leaving them unfinished, or modifying the required repositories without fully satisfying the request. To examine whether working on one repository at a time can alleviate these difficulties, we compare it with joint execution under identical prompts. Independent execution mainly recovers omitted work and is less effective at correcting previously attempted but unsuccessful implementations. Joint execution can use information from related repositories to guide implementation and verification. Code is available at https://github.com/ZJU-ACES-ISE/WideSWE.
- Abstract（参考訳）: コーディングエージェントの評価は、個々の問題の解決から長期開発まで進んでいるが、タスク完了は依然として単一のコードベース内で評価されている。
ソフトウェアエコシステムでは、多くの機能とバグ修正が複数のリポジトリ間で調整された変更を必要とする。
このようなクロスリポジトリタスクにおけるコーディングエージェントの評価にWideSWEを導入する。
103のソフトウェアエコシステムにおける変更のマイニングとレビューは120の実際のタスクをもたらし、60のバグ修正と60の機能のバランスをとる。
関連する問題とプルリクエストからプロンプトを導出します。
必要な振る舞いと回帰チェックを維持しながら、さまざまな正しい実装をサポートするために、隠れテストの体系的レビューと適応を行います。
7つのエージェント構成で、完全なタスク成功率は10.83%から42.50%の範囲で、設定ペアのCodex CLIとGPT-5.6-solが最高値に達した。
トラジェクトリは、必要な変更を特定したり、変更を認識したり、未完了のままにしたり、要求を完全に満たさずに必要なリポジトリを変更したりするエージェントを示す。
一度に1つのリポジトリで作業することで、これらの困難を軽減できるかどうかを調べるため、同じプロンプトで共同実行と比較する。
独立実行は主に省略された作業を回復し、以前試みられたが失敗した実装の修正には効果が低い。
共同実行では、関連するリポジトリの情報を使用して、実装と検証をガイドすることができる。
コードはhttps://github.com/ZJU-ACES-ISE/WideSWEで入手できる。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents [16.4855244145731]
SWE-RPGはリポジトリレベルのベンチマークで、実行可能パッチ評価と検証済みの地味な参照を組み合わせる。
SWE-RPGは、113のバグ修正と50の機能追加を含む、31のPythonとJavaリポジトリから163のタスクで構成されている。
Claude Code、Codex、OpenCodeを含む3つのコーディングエージェントを6つの大きな言語モデルバックエンドで評価します。
論文 参考訳（メタデータ） (2026-08-10T03:22:04Z) - SWE-Touch: Benchmarking Coding Agents When Users Touch the Code [27.67528029348664]
実際のソフトウェア開発では、コーディングエージェントが共有ワークスペースで動作し、ユーザが進行中のタスク中にコードを検査したり修正したりする必要がある。
我々は、検証済みのCounter-Editsを通じて、この設定をストレステストするフレームワークであるSWE-Touchを紹介する。
我々は、SWE-Bench ProとDeepSWEの長軸タスクに関する追加実験を行い、SWE-bench Verifiedの9つの符号化モデルを評価する。
論文 参考訳（メタデータ） (2026-08-03T17:03:19Z) - Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments [46.958911818255565]
Change2Taskは、統合されたプルリクエストを、同じリポジトリの健全なモダンなリビジョンに関する検証されたタスクに変換する。
歴史的証拠を進化したコードと整合させ、パッチリバーサル、コードマッピング、エージェント再構築を通じてタスク状態を再構築する。
本システムは,バグフィックス,機能追加,テスト生成,アプリケーションプログラミングインタフェースのマイグレーション,セキュリティ修復という,広く普及している5つのプログラミングエージェントタスクファミリを通じて評価する。
論文 参考訳（メタデータ） (2026-07-30T17:44:31Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Effective Strategies for Asynchronous Software Engineering Agents [52.76455094324273]
本稿では,集中型タスクデリゲート,非同期実行,独立したワークスペースという,3つのSWEプリミティブに根ざした構造化マルチエージェント協調パラダイムを導入する。
CAIDは,紙再生タスク(PaperBench)では26.7%,Pythonライブラリ開発タスクでは14.3%,単一エージェントベースラインでは26.7%の精度向上を実現している。
論文 参考訳（メタデータ） (2026-03-23T02:26:35Z) - SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios [6.776894728701934]
AIコーディングエージェントの既存のベンチマークでは、バグの修正や小さな機能の実装など、独立した単一課題のタスクに重点を置いている。
SWE-EVO(SWE-EVO)は、長期的ソフトウェア進化課題におけるエージェントの評価を行うベンチマークである。
ツールには48の進化タスクが含まれており、エージェントは平均21ファイルにまたがる複数ステップの修正を行う必要がある。
論文 参考訳（メタデータ） (2025-12-20T19:08:15Z) - Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration [64.19431011897515]
本稿では,問題解決のためにソフトウェアリポジトリ全体を包括的に理解し,活用するために設計された,新しいソフトウェアエンジニアリング手法であるAlibaba LingmaAgentを提案する。
提案手法では,重要なリポジトリ情報を知識グラフに凝縮し,複雑さを低減し,モンテカルロ木探索に基づく戦略を採用する。
Alibaba Cloudの製品展開と評価において、LingmaAgentは、開発エンジニアが直面した社内問題の16.9%を自動で解決し、手作業による介入で43.3%の問題を解決した。
論文 参考訳（メタデータ） (2024-06-03T15:20:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。