論文の概要: ChainSWE: Benchmarking Coding Agents on Multi-Bug Software Maintenance
- arxiv url: http://arxiv.org/abs/2607.02606v1
- Date: Wed, 01 Jul 2026 13:32:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 13:38:29.598253
- Title: ChainSWE: Benchmarking Coding Agents on Multi-Bug Software Maintenance
- Title（参考訳）: ChainSWE:マルチバグソフトウェア保守のためのベンチマークコーディングエージェント
- Abstract要約: ChainSWEは、共有内のシーケンシャルで依存的なバグ修正についてエージェントを評価するための最初のベンチマークである。
6つのSWEベンチデータセットから抽出した、54のPythonプロジェクトにわたる304のイシューの時系列チェーンを収集します。
本評価の結果,チェーン長の増加に伴い,一貫した性能低下が最大70%もみられた。
- 参考スコア（独自算出の注目度）: 16.631968551418417
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language model (LM) agents are increasingly deployed to maintain codebases over extended periods, fixing streams of related defects while carrying context from one fix to the next. Yet existing software engineering (SWE) benchmarks evaluate models one bug at a time: the repository is reset, the codebase is re-read, and a single self-contained issue is graded in isolation. This setting collapses a continuous maintenance workflow into a series of independent sessions, ignoring the cumulative dependencies that make real-world bug fixing challenging. To bridge this gap, we introduce ChainSWE, the first benchmark for evaluating agents on sequential, dependent bug fixes within a shared codebase. We collect chronological chains of 304 issues across 54 Python projects, mined from six SWE-bench-family datasets. Our evaluation across a range of agents and models reveals a consistent performance drop by up to 70% as the chain length increases.
- Abstract（参考訳）: 言語モデル(LM)エージェントは、長期にわたってコードベースを維持するためにデプロイされ、関連する欠陥のストリームを修正しながら、コンテキストを1つの修正から次の修正へと運んでいる。
しかし、既存のソフトウェアエンジニアリング(SWE)ベンチマークでは、一度に1つのバグを評価している。
この設定は、継続的メンテナンスワークフローを一連の独立したセッションに分解し、実際のバグ修正を難しくする累積的な依存関係を無視します。
このギャップを埋めるため、私たちはChainSWEを紹介します。
6つのSWEベンチデータセットから抽出した,54のPythonプロジェクトを対象とした,304件の時系列チェーンを収集します。
各種エージェントおよびモデルに対する評価の結果,チェーン長の増加に伴い,一貫した性能低下が最大70%もたらされることがわかった。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - LoopsBench: From Harness Engineering to Loop Engineering in Benchmarking Coding Agent [60.27239351179265]
LOOPSBENCHは、符号化エージェント評価におけるループエンジニアリングのベンチマークである。
8つのプログラミング言語と9つのドメインにまたがる、本物のソースからの112のタスクで構成されている。
フロー対応ランタイムは、準備されたフロンティアに沿ってテストをリリースし、レグレッション義務として完了したノードを保持します。
論文 参考訳（メタデータ） (2026-07-31T20:18:25Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration [7.89414068452646]
SWE-CIは継続的インテグレーションループ上に構築された最初のリポジトリレベルのベンチマークである。
コード生成のための評価パラダイムを静的・短期的テキスト機能的正当性から動的・長期的テキスト保守性へシフトすることを目的としている。
論文 参考訳（メタデータ） (2026-03-04T08:20:25Z) - Benchmarking Correctness and Security in Multi-Turn Code Generation [41.75392001830794]
MTSecは,マルチターン符号化シナリオにおける正当性とセキュリティを評価する最初のベンチマークである。
MT-Secでは32のオープンソースモデルとクローズドソースモデルと3つのエージェントスキャフォールディングを評価した。
エージェント生成スキャフォールディングは単一ターンコード生成性能を高めるが,マルチターン評価にはあまり有効ではないことがわかった。
論文 参考訳（メタデータ） (2025-10-13T01:20:46Z) - SemAgent: A Semantics Aware Program Repair Agent [14.80363334219173]
SemAgentは、イシュー、コード、実行セマンティクスを利用して完全なパッチを生成する、新しいワークフローベースのプロシージャである。
我々は、(a)実行セマンティクスを活用して関連するコンテキストを検索し、(b)一般化された抽象化を通して問題セマンティクスを理解し、(c)この抽象化のコンテキスト内でコードセマンティクスを分離する、という新しいパイプラインを通してこれを実現する。
提案手法は,SWEBench-Liteベンチマークで44.66%の解率を達成し,ワークフローベースのアプローチを全て上回り,ベースラインと比較して7.66%の絶対的な改善を実現している。
論文 参考訳（メタデータ） (2025-06-19T23:27:58Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - SWE-bench Goes Live! [39.295587503671015]
大規模言語モデル(LLM)のためのライブ更新可能なベンチマークであるSWE-bench-Liveを提案する。
最初のリリースは、2024年以降に作成された実際のGitHubイシューから派生した1,319のタスクで構成されています。
私たちのベンチマークの中心は、インスタンス生成から環境設定までのプロセス全体を合理化する自動キュレーションパイプラインであるメソッドです。
論文 参考訳（メタデータ） (2025-05-29T13:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。