論文の概要: CR-Bench-v2: Evaluating the Real-World Utility of AI Code Review Agents
- arxiv url: http://arxiv.org/abs/2611.02566v2
- Date: Tue, 03 Nov 2026 09:53:30 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:26:50.075705
- Title: CR-Bench-v2: Evaluating the Real-World Utility of AI Code Review Agents
- Title（参考訳）: CR-Bench-v2:AIコードレビューエージェントの現実世界の有用性を評価する
- Abstract要約: textttCR-Benchは、完全なリポジトリコンテキストでプルリクエストレビュータスクとして、SWE-Benchの問題をリキャストする。
textttCR-Benchには584のインスタンスがあり、SWE-Bench Verifiedから派生した174インスタンスのtextttCR-Bench-Knownサブセットがある。
本稿では,エージェントがラベル付き欠陥を識別するかどうかを計測するemph-Defect Detection Rate(KDDR)と,実行可能なレビューコメント数を測定するemphUsefulness Rate(emphUsefulness Rate)の2つの相補的指標を提案する。
- 参考スコア（独自算出の注目度）: 0.7496422063843831
- License:
- Abstract: The rapid growth of automated code generation has created a pressing need for automated code review. Yet code review resists full automation: it depends on context beyond the \textit{diff}, on the author's intent, and on judgments about design and maintainability on which even expert reviewers disagree. Existing code review benchmarks lack standardization and rely largely on noisy human review comments scored with text-similarity metrics, which reward surface overlap and fail to measure precision. We introduce \texttt{CR-Bench}, a defect-centric evaluation framework that recasts SWE-Bench issues as pull-request review tasks with full repository context. After filtering for review-detectable defects and grounding each to a single originating pull request, \texttt{CR-Bench} contains 584 instances, with a 174-instance \texttt{CR-Bench-Verified} subset derived from SWE-Bench Verified. Each instance pairs a pull request with a known defect, its ground-truth fix, and a taxonomy label for bug category, impact, and severity. We propose two complementary metrics: \emph{Known-Defect Detection Rate} (KDDR), which measures whether an agent identifies the labeled defect, and \emph{Usefulness Rate}, which measures the fraction of review comments that are actionable. We evaluate eight code review agents over four backbones, plus commercially available Gemini Code Assist, using three independent LLM judges. Even the strongest systems detect only about one-third of known defects (KDDR $\approx$ 33\%), and Gemini Code Assist detects 8.1\%.
- Abstract（参考訳）: 自動コード生成の急速な成長により、自動コードレビューの必要性が高まっている。
しかし、コードレビューは完全な自動化に抵抗する。それは、‘textit{diff}’以外のコンテキスト、著者の意図、そして専門家のレビュアーでさえ同意しない設計と保守性に関する判断に依存する。
既存のコードレビューベンチマークには標準化が欠如しており、テキスト類似度メトリクスで得られた騒々しい人間のレビューコメントに大きく依存している。
我々は、SWE-Benchの問題をフルリポジトリコンテキストでプルリクエストレビュータスクとして再キャストする、欠陥中心の評価フレームワークである、‘texttt{CR-Bench}’を紹介した。
レビュー検出可能な欠陥をフィルタリングし、それぞれを1つの起点のプルリクエストにグルーピングした後、SWE-Bench Verified から派生した 174-instance \texttt{CR-Bench-Verified} サブセットを持つ 584 インスタンスを含む。
各インスタンスはプルリクエストと既知の欠陥、地平線修正、バグカテゴリ、影響、深刻度のための分類ラベルをペアリングする。
本稿では,エージェントがラベル付き欠陥を識別するかどうかを測定する「emph{Known-Defect Detection Rate}」(KDDR)と,実行可能なレビューコメント数を測定する「emph{Usefulness Rate}」(KDDR)の2つの補完指標を提案する。
我々は,4つのバックボーンに8つのコードレビューエージェント,および市販のGemini Code Assistを,3つの独立したLCM判事を用いて評価した。
最強のシステムでさえ既知の欠陥の3分の1(KDDR $\approx$ 33\%)しか検出せず、Gemini Code Assistは8.1\%である。
関連論文リスト
- Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。
自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。
本稿は、強い透かしに代わる聴覚的な代替品を開発する。
論文 参考訳（メタデータ） (2026-10-05T13:32:41Z) - CRJudgeBench: Can AI Detect Plausible but Invalid Code Reviews? [19.78638820478891]
大規模な言語モデルは、もっともらしいコードレビューコメントを生成することができるが、そのようなコメントには、開発者を誤解させる技術的に誤った主張が含まれているかもしれない。
レビューコメントの中核的な技術的主張が正しいかどうかを判断し、レビューされたコードをリポジトリのコンテキストで適用する。
既存のコードレビューベンチマークは、主にレビュー生成、イシュー発見、一般的なコメント品質を評価する。
CRJudgeBenchは、実際のプルリクエストと専門家が検証した摂動から構築された1199インスタンスのベンチマークである。
論文 参考訳（メタデータ） (2026-09-29T10:31:16Z) - Watermarks Without Verification: AI Text Watermarking After the EU AI Act [49.51124343181601]
EU AI法第50条では、生成可能なAIプロバイダに対して、システムが生成したコンテンツをマークし、AI生成として検出することを要求している。
Anthropicは、その日後にリリースされたすべてのClaudeモデルが、すべての生成されたテキストにSynthID-Textに基づく透かしを埋め込んでいることを公表した。
我々は、現在、異議や保証は確認できないし、この不信は、それ自体を透かしではなく、実質的なガバナンスの失敗であると論じている。
論文 参考訳（メタデータ） (2026-09-09T01:56:17Z) - OpenCodeReview: Determinism over Non-Determinism for Cost-Effective Agent-Based Code Review [14.707064801983172]
我々は不確実なエージェントに対する決定論的エンジニアリングに基づいて構築されたOpenCodeReviewを紹介する。
AACR-Bench(200の現実世界のPR、10の言語、1,505のエキスパート認定されたコメント)では、OpenCodeReviewが主要なコーディングエージェントを上回っている。
論文 参考訳（メタデータ） (2026-08-10T08:43:16Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - DeepReviewer 2.0: A Traceable Agentic System for Auditable Scientific Peer Review [22.737940168374546]
DeepReviewer2.0は、出力契約を中心に構築されたプロセス制御エージェントレビューシステムである。
134 ICLR2025は3つの固定されたプロトコルの下で提出され、DeepReviewer2.0を実行する196BモデルはGemini-3.1-Pro-previewより優れている。
論文 参考訳（メタデータ） (2026-03-03T09:02:17Z) - Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。
6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。
再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
論文 参考訳（メタデータ） (2025-10-08T09:49:05Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。