論文の概要: SWEeper-Bench: Can Agents Discover Bugs in Interactive Software?
- arxiv url: http://arxiv.org/abs/2610.14096v1
- Date: Thu, 08 Oct 2026 19:05:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 23:23:40.841705
- Title: SWEeper-Bench: Can Agents Discover Bugs in Interactive Software?
- Title（参考訳）: SWEeper-Bench: エージェントは対話型ソフトウェアでバグを発見できるか?
- Abstract要約: コーディングエージェントは、テキストで返信するのではなく、インタラクティブなソフトウェアをリアルタイムで生成することで、ユーザーと対話するようになっている。
既存のベンチマークでは、バグはすでに特定されており、エージェントがインタラクションに依存した障害を見つける能力はほとんど評価されていないと仮定している。
我々はSWEeper-Benchを紹介します。200のオープンソースWebアプリケーションで、実際のバグ修正から構築された200のタスクを紹介します。
- 参考スコア（独自算出の注目度）: 29.095588094625697
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents increasingly interact with users by generating interactive software on the fly rather than replying in text, yet many bugs in such software reveal themselves only after multi-step interactions. Today, users must discover these bugs and wait for fixes, making the development loop slow and expensive. Existing benchmarks typically assume the bugs have already been identified, leaving agents' ability to find interaction-dependent failures largely unevaluated. We introduce SWEeper-Bench, 200 tasks built from real bug fixes in 200 widely used open-source web applications. Each task gives the agent only the codebase and an open-ended request such as "Find and fix issues in Focalboard's board sharing and membership." Because these bugs are hard to detect from code alone, agents must design interactive tests to uncover them. An agentic verifier then judges each repair by what a user would observe in the browser. The best of 15 frontier agents passes only 59.0% of tasks. Through stage-by-stage analysis of agent trajectories, we show that the biggest bottleneck is identifying the buggy behavior: agents often reach the relevant feature but never trigger the failure or fail to recognize it. SWEeper-Bench measures progress toward agents that close this loop themselves, delivering software that works without waiting for user feedback.
- Abstract（参考訳）: コーディングエージェントは、テキストで返信するのではなく、インタラクティブなソフトウェアをリアルタイムで生成することで、ユーザと対話する傾向にある。
今日、ユーザーはこれらのバグを発見し、修正を待つ必要があり、開発ループが遅くて高価になる。
既存のベンチマークでは、バグがすでに特定されていると想定されており、エージェントがインタラクション依存の障害を見つける能力はほとんど評価されていない。
我々はSWEeper-Benchを紹介します。200のオープンソースWebアプリケーションで、実際のバグ修正から構築された200のタスクを紹介します。
各タスクは、エージェントにコードベースと"Focalboardのボード共有とメンバシップにおける問題の修正と修正"のようなオープンな要求のみを与える。
これらのバグはコードだけでは検出できないため、エージェントはそれらを明らかにするためにインタラクティブなテストを設計する必要がある。
エージェント検証器は、ユーザーがブラウザで観察するものによって各修理を判断する。
最上位の15人のフロンティアエージェントは59.0%のタスクしかパスしていない。
エージェント・トラジェクトリのステージ・バイ・ステージ分析により、最も大きなボトルネックは、バグの振る舞いを識別することである。
SWEeper-Benchは、このループを閉じるエージェントへの進捗を測定し、ユーザのフィードバックを待つことなく動作するソフトウェアを提供する。
関連論文リスト
- SWE-Together: Evaluating Coding Agents in Interactive User Sessions [19.069719245971786]
実際のユーザエージェントコーディングセッションから再構成したマルチターンベンチマークであるSWE-Togetherを紹介する。
11,260のセッションから109のリポジトリレベルのタスクをキュレートし、リカバリ可能なレポジトリステートでセッションを選択します。
我々は、元のユーザの意図を保存し、コーディングエージェントの進捗が必要な時にフィードバックを提供する、リアクティブLLMベースのユーザシミュレータを構築します。
論文 参考訳（メタデータ） (2026-06-29T08:35:15Z) - Coding Agents Don't Know When to Act [3.2610504259514754]
コーディングエージェントは、ソフトウェアを自律的にメンテナンスするためにますますデプロイされる。
現実のデプロイメントでは、すでに解決済みの問題に関するバグレポートに遭遇します。
最先端のモデルでさえ失敗し、35ドルから65%のケースで望ましくない変更を提案する。
論文 参考訳（メタデータ） (2026-05-08T14:10:00Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Can Agents Fix Agent Issues? [15.50260831159089]
LLMベースのエージェントシステムは、新しいソフトウェアパラダイムとして登場し、医学、ロボティクス、プログラミングといった様々な領域で広く採用されている。
これらのシステムを維持するには、バグが必然的に発生し、外部の要求に合うように継続的に進化するため、かなりの努力が必要です。
最近のソフトウェア工学(SE)エージェントは、従来のソフトウェアシステムにおける問題に対処することを約束しているが、エージェントシステムにおける現実の問題がどの程度効果的に解決できるかは不明だ。
論文 参考訳（メタデータ） (2025-05-27T05:45:03Z) - Evaluating Agent-based Program Repair at Google [9.62742759337993]
エージェントベースのプログラム修復は、複雑なバグをエンドツーエンドで自動的に解決する。
最近の研究は、人気のあるオープンソースSWE-Benchにおけるエージェントベースの修復アプローチの使用について検討している。
本稿では,企業コンテキストにおけるバグに対処するためのエージェント的アプローチの適用可能性について検討する。
論文 参考訳（メタデータ） (2025-01-13T18:09:25Z) - Using Developer Discussions to Guide Fixing Bugs in Software [51.00904399653609]
我々は,タスク実行前に利用可能であり,また自然発生しているバグレポートの議論を,開発者による追加情報の必要性を回避して利用することを提案する。
このような議論から派生したさまざまな自然言語コンテキストがバグ修正に役立ち、オラクルのバグ修正コミットに対応するコミットメッセージの使用よりもパフォーマンスの向上につながることを実証する。
論文 参考訳（メタデータ） (2022-11-11T16:37:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。