論文の概要: SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle
- arxiv url: http://arxiv.org/abs/2605.13139v1
- Date: Wed, 13 May 2026 08:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.891721
- Title: SWE-Cycle: Benchmarking Code Agents across the Complete Issue Resolution Cycle
- Title（参考訳）: SWE-Cycle: 完全なイシュー解決サイクルにわたるコードエージェントのベンチマーク
- Authors: Hao Guan, Lingyue Fu, Shao Zhang, Yaoming Zhu, Kangning Zhang, Lin Qiu, Xunliang Cai, Xuezhi Cao, Weiwen Liu, Weinan Zhang, Yong Yu,
- Abstract要約: SWE-Cycleは、489の厳格な自動コードエージェントのインスタンスのベンチマークである。
SWE-Judgeは静的コードレビューと動的テストを組み合わせて機能的正当性を正確に検証する。
その結果、分離されたタスクからFullCycle実行に移行する際の解決率の急落が明らかになった。
- 参考スコア（独自算出の注目度）: 46.833916047516716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As autonomous code agents move toward end-to-end software development, evaluating their practical autonomy becomes critical. Current benchmarks hide friction by testing agents in pre-configured environments, and their static evaluation pipelines frequently fail when parsing fully autonomous trajectories. We address these limitations with SWE-Cycle, a benchmark of 489 rigorously filtered instances. SWE-Cycle evaluates agents across three isolated tasks, including environment reconstruction, code implementation, and verification test generation, as well as an end-to-end FullCycle task that integrates all three. The FullCycle task requires agents to work autonomously in a bare repository without human scaffolding. To reliably assess these complex execution paths, we developed SWE-Judge. By combining static code review with dynamic testing, this execution-capable evaluation agent accurately verifies functional correctness and eliminates the systematic measurement errors of traditional static parsers. We evaluate code agents powered by six state-of-the-art LLMs across these four tasks. The results reveal a sharp drop in solve rates when transitioning from isolated tasks to FullCycle execution, exposing critical bottlenecks in handling cross-phase dependencies and maintaining code quality. Together, SWE-Cycle and SWE-Judge provide a comprehensive framework for accurately measuring the end-to-end capabilities of autonomous software agents.
- Abstract（参考訳）: 自律的なコードエージェントがエンドツーエンドのソフトウェア開発に向かって進むにつれ、実践的な自律性の評価が重要になります。
現在のベンチマークでは、設定済みの環境でテストエージェントによる摩擦を隠蔽し、完全に自律的な軌道を解析する際に静的評価パイプラインが頻繁に失敗する。
SWE-Cycleは、厳格にフィルタされた489のインスタンスのベンチマークである。
SWE-Cycleは環境再構成、コード実装、検証テスト生成を含む3つの独立したタスクにまたがるエージェントの評価と、3つすべてを統合するエンドツーエンドのFullCycleタスクの評価を行う。
FullCycleタスクでは、エージェントは人間の足場なしで、素のリポジトリで自律的に作業する必要がある。
これらの複雑な実行経路を確実に評価するために,SWE-Judgeを開発した。
静的コードレビューと動的テストを組み合わせることで、この実行可能評価エージェントは機能的正しさを正確に検証し、従来の静的パーサの体系的な測定誤差を取り除く。
これら4つのタスクにまたがる6つの最先端LCMを用いたコードエージェントの評価を行った。
その結果、分離されたタスクからFullCycle実行への移行時の解決率の急激な低下が明らかとなり、フェーズ間の依存関係の処理とコード品質の維持において重大なボトルネックが明らかになった。
SWE-CycleとSWE-Judgeは共に、自律的なソフトウェアエージェントのエンドツーエンド能力を正確に測定するための包括的なフレームワークを提供する。
関連論文リスト
- ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Towards Multi-Agent Autonomous Reasoning in Hydrodynamics [0.06999740786886537]
本稿では,多エージェントをレイヤ実行グラフ(LEG)を介して協調させる,流体力学のためのマルチエージェントシステム(MAS)のプロトタイプを提案する。
プランナーエージェントは、ドメイン知識を厳密な制御ロジックとしてハードコーディングすることなく、自然言語ルーティングからクエリ固有の実行トポロジを構築する。
レポーターエージェントが最終応答を合成し、ランタイムが監査性をサポートするためのツール呼び出し毎に証明をログする。
論文 参考訳（メタデータ） (2026-05-01T21:17:55Z) - Springdrift: An Auditable Persistent Runtime for LLM Agents with Case-Based Memory, Normative Safety, and Ambient Self-Perception [0.20305676256390928]
本稿では、長期LLMエージェントの永続ランタイムであるSpringdriftを紹介する。
我々は,このカテゴリに人工リテーナという用語を導入する。
これは、システム設計とデプロイメントのケーススタディに関する技術的なレポートであり、ベンチマークによる評価ではない。
論文 参考訳（メタデータ） (2026-04-06T13:14:37Z) - Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution [5.10403054516716]
既存のデータセットは、分離された単一のプルリクエスト(PR)タスクのパフォーマンスをステートレスな方法で評価する。
本稿では,SWE-STEPSのデータセット生成を支援する自動コーディングタスク生成フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-03T13:44:40Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Effective Strategies for Asynchronous Software Engineering Agents [52.76455094324273]
本稿では,集中型タスクデリゲート,非同期実行,独立したワークスペースという,3つのSWEプリミティブに根ざした構造化マルチエージェント協調パラダイムを導入する。
CAIDは,紙再生タスク(PaperBench)では26.7%,Pythonライブラリ開発タスクでは14.3%,単一エージェントベースラインでは26.7%の精度向上を実現している。
論文 参考訳（メタデータ） (2026-03-23T02:26:35Z) - SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration [7.89414068452646]
SWE-CIは継続的インテグレーションループ上に構築された最初のリポジトリレベルのベンチマークである。
コード生成のための評価パラダイムを静的・短期的テキスト機能的正当性から動的・長期的テキスト保守性へシフトすることを目的としている。
論文 参考訳（メタデータ） (2026-03-04T08:20:25Z) - SWE-World: Building Software Engineering Agents in Docker-Free Environments [91.17484806743641]
SWE-Worldは、物理的な実行環境を、ソフトウェアエンジニアリングエージェントのトレーニングと評価のための学習的なサロゲートに置き換える、Dockerフリーのフレームワークである。
我々は,SWE-WorldがQwen2.5-Coder-32Bを,DockerフリーのSFTで6.2%から52.0%,DockerフリーのRLで55.0%,さらにTSで68.2%に引き上げたことを示す。
論文 参考訳（メタデータ） (2026-02-03T11:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。