論文の概要: (When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection
- arxiv url: http://arxiv.org/abs/2610.13668v1
- Date: Fri, 09 Oct 2026 14:37:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.624846
- Title: (When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection
- Title（参考訳）: ソフトウェアファクトリはいつ軽視すべきか? バグ検出に関するコードレビューエージェントのベンチマーク
- Abstract要約: CRBugBenchは、レビューエージェントが人間の検証されたバグを検出するかどうかを評価するベンチマークである。
私たちは、リポジトリ履歴からバグをマイニングするデータパイプラインを構築し、各バグとPRを導入してレビュータスクを作成します。
モデル進化の5ヶ月で47.7% (opus-4.6) から上昇し、トップ5コメントの71.9%のバグをキャッチした。
- 参考スコア（独自算出の注目度）: 8.798148307457373
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advances of coding agents, software developers are spending more time reviewing code than writing code. As human review velocity falls behind agentic code generation, it is tempting to build automated review agents towards a future of "lights-off" software factory with little to no human supervision. To assess the practicality of such a fully autonomous software factory, we construct CRBugBench, a new benchmark that evaluates whether review agents detect human-verified bugs. We build a data pipeline that mines bugs from repository history, and pair each bug with its introducing PR to form a review task. CRBugBench consists of 1,000 review tasks across 98 open-source GitHub repositories, and 800 additional tasks from proprietary industry repositories at one large company. We then use the benchmark to study agent review quality: We found that SOTA review agents do well: the best (claude-opus-5 with copilot-cli) catches 71.9% of bugs within its top-5 comments, up from 47.7% (opus-4.6) in five months of model evolution. Yet agents remain less effective on complex changes and bugs requiring non-local reasoning, with sharp performance drops on proprietary industry repositories where project context is more often needed. To improve bug detection, we found scaling compute helps most through prompt changes: exploration-nudging prompts gain up to 5.8% performance at 10% higher cost. From these findings, we derive concrete guidance for developers to adopt review agents - scaling review effort to PR complexity, steering agents by project priorities, supplying repository knowledge, dispatching models by PR characteristics, and monitoring quality as models evolve.
- Abstract（参考訳）: コーディングエージェントの進歩により、ソフトウェア開発者はコードを書くことよりもコードレビューに多くの時間を費やしている。
ヒューマンレビューのベロシティがエージェントコード生成に遅れているため、人間の監督がほとんどないし全くない"ライトオフ"ソフトウェアファクトリの将来に向けて、自動レビューエージェントを構築する傾向があります。
このような完全自律型ソフトウェアファクトリの実用性を評価するため、レビューエージェントが人間認証されたバグを検出するかどうかを評価する新しいベンチマークであるCRBugBenchを構築した。
私たちは、リポジトリ履歴からバグをマイニングするデータパイプラインを構築し、各バグとPRを導入してレビュータスクを作成します。
CRBugBenchは、98のオープンソースGitHubリポジトリにまたがる1000のレビュータスクと、1つの大企業のプロプライエタリな業界リポジトリからの800のタスクで構成されている。
私たちは、エージェントレビューの品質を研究するためにベンチマークを使用し、SOTAレビューエージェントがうまく機能していることを発見しました。 最高の(コピロトリのクロードオプス5)は、上位5つのコメントの中で71.9%のバグをキャッチし、5ヶ月で47.7%(オプス4.6)まで上昇します。
しかし、エージェントは複雑な変更や非ローカルな推論を必要とするバグに対して効果が低いままであり、プロジェクトコンテキストが頻繁に必要とされるプロプライエタリな業界リポジトリでは、パフォーマンスが急落している。
調査ナッジのプロンプトは、10%高いコストで最大5.8%のパフォーマンスを得る。
これらの結果から、レビューエージェントを採用するための具体的なガイダンス、すなわち、PRの複雑さに対するレビューの取り組みのスケーリング、プロジェクトの優先順位によるエージェントのステアリング、リポジトリの知識の提供、PR特性によるモデルのディスパッチ、モデルの発展に伴う品質の監視、を導出します。
関連論文リスト
- ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues [54.98461672730087]
ReproRepoは、人為的なGitHub問題を活用するスケーラブルな評価フレームワークで、現実的な再現ブロッカーを自然に監視する。
ReproRepoは、大規模なカンファレンスから1,149件の機械学習論文をインスタンス化し、4つのフロンティアモデルエージェント構成を評価します。
その結果, LLMエージェントは, コードを実行せずにも, 紙とリポジトリのペアから多くの実世界の問題を識別できることがわかった。
論文 参考訳（メタデータ） (2026-06-16T17:58:05Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - Code Review Agent Benchmark [11.281773600529212]
AIエージェントが動作するためのコードレビューデータセットをキュレートします。
評価フレームワークは、コードレビューエージェントのレビュー機能を評価することができる。
これがコード生成エージェント、テスト生成エージェント、コードレビューエージェントの今後のコラボレーションにとって何を意味するのかは、まだ調査されていない。
論文 参考訳（メタデータ） (2026-03-24T17:19:32Z) - Automated Code Review Assignments: An Alternative Perspective of Code Ownership on GitHub [9.824540566919184]
GitHubは、特定のファイルのレビュアーを自動的に指定するCODEOWNERS機能を導入した。
CODEOWNERSの使用に関する大規模な実証的研究は、844,000件以上のプルリクエストと190万のコメント、200万以上のレビューで実施された。
結果は、コード所有者がCODEOWNERSファイルに規定されたルールに準拠し、従来のオーナシップのメトリクスと同じような協調行動を示す傾向にあることを示しているが、時間が経つにつれてスムーズで高速なPRワークフローに寄与する傾向にあることを示している。
論文 参考訳（メタデータ） (2025-12-05T09:14:22Z) - BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。
難易度および多種多様なバグを合成する新しい方法を提案する。
論文 参考訳（メタデータ） (2025-10-22T17:58:56Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios [13.949319911378826]
この調査は、500の現実のGitHubイシューで上位10のエージェントから4,892のパッチを評価した。
一人のエージェントが支配的であり、170の問題が未解決であり、改善の余地があった。
ほとんどのエージェントはコードの信頼性とセキュリティを維持し、新しいバグや脆弱性を避けた。
一部のエージェントはコードの複雑さを増し、多くの重複を減らし、コードの臭いを最小限にした。
論文 参考訳（メタデータ） (2024-10-16T11:33:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。