論文の概要: PROBE: Frontier Coding Agents Find Different Bugs Than Maintainers Fix

• arxiv url: http://arxiv.org/abs/2610.35987v1
• Date: Mon, 26 Oct 2026 12:04:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.381052
• Title: PROBE: Frontier Coding Agents Find Different Bugs Than Maintainers Fix
• Title（参考訳）: ProBE:フロンティア・コーディング・エージェントは保護者の修正と異なるバグを発見
• Abstract要約: PROBEは、20のGitHubリポジトリで18ヶ月にわたって修正された2,457のバグからなるベンチマークである。 我々は、フロンティアモデル全体でコーディングエージェントを評価し、それぞれが21%ドル未満のリコールと、参照セットに対して9%ドル未満の精度を達成した。
• 参考スコア（独自算出の注目度）: 11.369578963842843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Proactive bug discovery is an important software-engineering problem. Even though coding agents are already widely deployed in this domain, their capabilities remain understudied. In particular, the challenging task of finding all bugs that human maintainers would repair across an entire repository has not been studied yet. To close this gap, we introduce PROBE, a benchmark consisting of all 2,457 bugs fixed over the course of 18 months across 20 diverse GitHub repositories, together with a method for matching candidate findings to this partial reference set. We evaluate coding agents across frontier models and find they all achieve a recall of below $21\%$ and a precision of less than $9\%$ with respect to the reference set. While stronger models increase recall substantially from $8\%$ to $17\%$, they do not improve precision. Surprisingly, despite the low precision, LLM and human evaluators still judge $85\%$ of findings valid. Crucially, we find that found bug distributions are similar across agents but differ substantially from those of bugs fixed by maintainers. The practical relevance of bug discovery and the low recall of frontier models make this benchmark a valuable resource for both model users and developers.
• Abstract（参考訳）: プロアクティブなバグ発見は、ソフトウェアエンジニアリングの重要な問題である。 コーディングエージェントは、すでにこのドメインに広くデプロイされているが、その能力はまだ検討されていない。 特に、人間のメンテナがリポジトリ全体にわたって修復するすべてのバグを見つけるという難しいタスクは、まだ研究されていない。 このギャップを埋めるために、20のGitHubリポジトリで18ヶ月にわたって修正された2,457のバグと、この部分参照セットに候補結果と一致する方法からなるベンチマークである PROBE を紹介します。 我々は、フロンティアモデル全体でコーディングエージェントを評価し、それぞれが21セント未満のリコールと9セント未満の精度を基準セットに対して達成している。 より強力なモデルではリコールが8\%$から17\%$に大幅に増加するが、精度は向上しない。 意外なことに、LDMと人間の評価は、精度が低いにもかかわらず、それでも85\%の発見が妥当であると判断されている。 重要なことに、見つかったバグの分布はエージェント間で似ているが、メンテナによって修正されたバグとは大きく異なる。 バグ発見の実践的関連性とフロンティアモデルのリコールの低さにより、このベンチマークはモデルユーザと開発者の両方にとって貴重なリソースとなっている。

関連論文リスト

• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Anchored Self-Play for Code Repair [68.0728003844994]
  コード修復は言語モデル(LM)の重要な機能である 本稿では,1つのモデルを強化学習で訓練し,バグを生成して修正する__generator--fixer self-play__を提案する。 BugSourceBenchでは、セルフプレイは難しいが非現実的なバグへと向かっている。 本稿では,参照バグの生成と混合のためのコード埋め込み型類似性報酬をフィクスチャトレーニングに付加することにより,小さな参照セットでセルフプレイをアンロックするAnchored Self-Play (ASP)を提案する。
  論文  参考訳（メタデータ） (2026-07-03T17:51:52Z)
• SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
  我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。 我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。 11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-03-25T19:26:44Z)
• BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
  高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。 難易度および多種多様なバグを合成する新しい方法を提案する。
  論文  参考訳（メタデータ） (2025-10-22T17:58:56Z)
• One Bug, Hundreds Behind: LLMs for Large-Scale Bug Discovery [11.169105079732864]
  Recurring Pattern Bugs (RPB) はプログラムの様々なコードセグメントにまたがって繰り返し現れる。 RPBは広く普及しており、ソフトウェアプログラムのセキュリティを著しく損なう可能性がある。 本稿では,LLVMとLarge Language Model (LLM)によるプログラム解析システムであるBugStoneを紹介する。
  論文  参考訳（メタデータ） (2025-10-15T19:18:06Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• BugScope: Learn to Find Bugs Like Human [9.05553442116139]
  BugScopeは、人間の監査人が代表例から新しいバグパターンを学習し、コード監査中にその知識を適用する方法をエミュレートする。 BugScopeが87.04%の精度を達成したことを示す。 Linuxカーネルを含む大規模なオープンソースシステムのさらなるテストにより、これまで不明だった141のバグが明らかになった。
  論文  参考訳（メタデータ） (2025-07-21T14:34:01Z)
• Evaluating Agent-based Program Repair at Google [9.62742759337993]
  エージェントベースのプログラム修復は、複雑なバグをエンドツーエンドで自動的に解決する。 最近の研究は、人気のあるオープンソースSWE-Benchにおけるエージェントベースの修復アプローチの使用について検討している。 本稿では,企業コンテキストにおけるバグに対処するためのエージェント的アプローチの適用可能性について検討する。
  論文  参考訳（メタデータ） (2025-01-13T18:09:25Z)
• Challenging Bug Prediction and Repair Models with Synthetic Bugs [7.285779914390472]
  BugFarmは任意のコードを複数の複雑なバグに変換する。 BUGFARMが生成した1.9万以上の変異株から435k以上のバグを総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-03T20:01:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。