論文の概要: AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
- arxiv url: http://arxiv.org/abs/2609.37864v1
- Date: Tue, 29 Sep 2026 15:46:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.705972
- Title: AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
- Title（参考訳）: AgentBug-Smith:エージェントシステムにおける実世界のハーネスバグの自動再生
- Abstract要約: エージェントハーネスバグは独特な特徴を示し、最先端のソフトウェアエージェントが修復を困難にしている。
この研究は、AgentBug-Smithを提示する。AgentBug-Smithは、実際のハーネスバグを継続的に発見し、再現する自動ハーネスバグ再現アプローチである。
異なるバックボーンLLM全体で、AgentBug-Smithは、一般的なソフトウェア用に設計された既存のバグ再現技術より一貫して優れている。
- 参考スコア（独自算出の注目度）: 15.87878409768603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent harness bugs exhibit unique characteristics and remain challenging for state-of-the-art software agents to repair. Progress in this area is further hindered by existing benchmarks, which contain only a small and fixed number of executable harness bugs while requiring hundreds of human hours to construct. This work presents AgentBug-Smith, an automated harness bug reproduction approach that continuously discovers and reproduces real-world harness bugs from open-source agentic systems. Across different backbone LLMs, AgentBug-Smith consistently outperforms existing bug reproduction techniques designed for general software, achieving 10.67% - 27.56% higher success rates of reproducing harness bugs. By applying AgentBug-Smith to open-source agentic systems in the wild, we construct Live-Harness-Bench, a live and extensible benchmark that currently contains 200 reproducible harness bugs. We further demonstrate the utility of Live-Harness-Bench through two downstream applications. First, we use Live-Harness-Bench as the evaluation benchmark to systematically evaluate state-of-the-art software agents, revealing their limited capabilities in repairing real-world harness bugs. Second, we use Live-Harness-Bench as a knowledge base of real-world harness bug fixes, from which reusable repair skills can be distilled to improve existing software agents, increasing their harness-bug repair rates by 6.32%. Together, AgentBug-Smith and Live-Harness-Bench establish a scalable foundation for continuously evaluating and improving software agents on harness bug repair, turning real-world agent failures into executable evaluation instances and reusable knowledge for harness improvement, thus contributing to the ultimate goal of recursively self-improving agents.
- Abstract（参考訳）: エージェントハーネスバグは独特な特徴を示し、最先端のソフトウェアエージェントが修復を困難にしている。
この領域の進歩は既存のベンチマークによってさらに妨げられています。
この研究は、オープンソースのエージェントシステムから現実のハーネスバグを継続的に検出し、再現する自動ハーネスバグ再現アプローチであるAgentBug-Smithを提示する。
異なるバックボーンのLLM全体で、AgentBug-Smithは、一般的なソフトウェア用に設計された既存のバグ再現技術よりずっと優れており、10.67%から27.56%高いハーネスバグを再現する成功率を実現している。
AgentBug-Smithをオープンソースエージェントシステムに適用することにより、現在再現可能な200のハーネスバグを含むライブで拡張可能なベンチマークであるLive-Harness-Benchを構築します。
さらに,2つのダウンストリームアプリケーションによるLive-Harness-Benchの有用性を実証する。
まず、Live-Harness-Benchを評価ベンチマークとして、最先端のソフトウェアエージェントを体系的に評価し、実際のハーネスバグを修復する能力に制限があることを明らかにする。
第2に、Live-Harness-Benchを実世界のハーネスバグ修正の知識ベースとして使用し、既存のソフトウェアエージェントを改善するために再利用可能な修復スキルを蒸留し、ハーネスバグ修正率を6.32%向上させる。
AgentBug-SmithとLive-Harness-Benchは共に、ソフトウェアエージェントを継続的に評価し改善するためのスケーラブルな基盤を確立する。
関連論文リスト
- EVOHARNESSBENCH: Can Your Agents Keep Pace with an Evolving Harness? [83.21711423118768]
EVOHARNESSBENCHは、制御されたハーネス進化下でエージェントを評価するためのベンチマークである。
検証器ベースのベンチマークから決定的に構築された17のマルチステージハーネスストリームを含んでいる。
論文 参考訳（メタデータ） (2026-09-03T03:24:02Z) - AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces [61.51487329124135]
AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。
ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。
GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-08-24T09:45:08Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Anchored Self-Play for Code Repair [68.0728003844994]
コード修復は言語モデル(LM)の重要な機能である
本稿では,1つのモデルを強化学習で訓練し,バグを生成して修正する__generator--fixer self-play__を提案する。
BugSourceBenchでは、セルフプレイは難しいが非現実的なバグへと向かっている。
本稿では,参照バグの生成と混合のためのコード埋め込み型類似性報酬をフィクスチャトレーニングに付加することにより,小さな参照セットでセルフプレイをアンロックするAnchored Self-Play (ASP)を提案する。
論文 参考訳（メタデータ） (2026-07-03T17:51:52Z) - From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws [12.757205456771295]
本稿では,エージェント故障の診断と修復を行うためのトレースガイドフレームワークであるHarnessFixを提案する。
HarnessFixは生の実行トレースをコンパイルし、コードをHarness対応のトレース中間表現に変換する。
障害の原因は、責任ある軌道ステップとレイヤの活用、繰り返し診断を実行可能な欠陥レコードに集約し、スコープ化された修復オペレータにマップすることにある。
論文 参考訳（メタデータ） (2026-06-04T15:58:30Z) - HAFixAgent: History-Aware Automated Program Repair Agent [13.82629698836299]
HAFixAgentはHAFixAgentというヒストリー対応のバグフィクスエージェントで,その修復ループに非難由来のリポジトリを注入する。
Defects4Jの854の実際のバグに関する予備的な研究は、我々の設計を動機付け、バグ関連の歴史が広く利用でき、非常に集中していることを示している。
論文 参考訳（メタデータ） (2025-11-02T18:45:34Z) - BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。
難易度および多種多様なバグを合成する新しい方法を提案する。
論文 参考訳（メタデータ） (2025-10-22T17:58:56Z) - PerfBench: Can Agents Resolve Real-World Performance Bugs? [4.879400115033142]
PerfBenchは、GitHubから81の実際のパフォーマンスバグ修正タスクからなるベンチマークである。
PerfBenchは、エージェントが独自のパフォーマンスベンチマークを生成することができる新しい評価ハーネスを備えている。
OpenHands-Perf-Agentは、パフォーマンスに配慮したツールと命令を組み、ベンチマークで20%の成功率を達成する。
論文 参考訳（メタデータ） (2025-09-28T22:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。