論文の概要: CRJudgeBench: Can AI Detect Plausible but Invalid Code Reviews?
- arxiv url: http://arxiv.org/abs/2609.37216v1
- Date: Tue, 29 Sep 2026 10:31:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.421179
- Title: CRJudgeBench: Can AI Detect Plausible but Invalid Code Reviews?
- Title（参考訳）: CRJudgeBench:AIは可塑性のコードレビューを検出できるか?
- Abstract要約: 大規模な言語モデルは、もっともらしいコードレビューコメントを生成することができるが、そのようなコメントには、開発者を誤解させる技術的に誤った主張が含まれているかもしれない。
レビューコメントの中核的な技術的主張が正しいかどうかを判断し、レビューされたコードをリポジトリのコンテキストで適用する。
既存のコードレビューベンチマークは、主にレビュー生成、イシュー発見、一般的なコメント品質を評価する。
CRJudgeBenchは、実際のプルリクエストと専門家が検証した摂動から構築された1199インスタンスのベンチマークである。
- 参考スコア（独自算出の注目度）: 19.78638820478891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models can generate plausible code-review comments, but such comments may contain technically incorrect claims that mislead developers. We study technical trustworthiness judgment: determining whether a review comment's core technical claims are correct and applicable to the reviewed code in its repository context. Existing code-review benchmarks primarily evaluate review generation, issue discovery, or general comment quality, but do not directly assess whether an agent can determine the technical trustworthy of an individual review comment. To fill this gap, we introduce CRJudgeBench, a benchmark of 1199 instances constructed from real pull requests and expert-verified perturbations, covering both trustworthy and plausible but untrustworthy comments. We further present Sentinel, a repository-grounded agentic judge that actively gathers code evidence to verify review comments before making judgments. Starting from Qwen3-Coder-30B-A3B-Instruct, Sentinel is trained on the CRJudgeBench training split through iterative action-level learning from a privileged teacher. On the 359-instance CRJudgeBench test set, Sentinel achieves 76.60\% accuracy, outperforming GLM-5.3 by 6.13 percentage points and its base model by 19.78 points. These results show that even state-of-the-art general-purpose LLMs struggle to identify untrustworthy comments, while iterative action-level learning substantially improves the accuracy of repository-grounded trustworthiness judgments. Our dataset is available at https://huggingface.co/datasets/dcloud347/CRJudgeBenchmark
- Abstract（参考訳）: 大規模な言語モデルは、もっともらしいコードレビューコメントを生成することができるが、そのようなコメントには、開発者を誤解させる技術的に誤った主張が含まれているかもしれない。
レビューコメントの中核的な技術的主張が正しいかどうかを判断し、レビューされたコードをリポジトリのコンテキストで適用する。
既存のコードレビューベンチマークは、主にレビュー生成、課題発見、あるいは一般的なコメント品質を評価するが、エージェントが個々のレビューコメントの技術的信頼性を判断できるかどうかを直接評価しない。
このギャップを埋めるために、CRJudgeBenchを紹介します。CRJudgeBenchは、実際のプルリクエストと専門家が検証した摂動から構築された1199のインスタンスのベンチマークです。
我々はさらに、レビューコメントを検証するためにコード証拠を積極的に収集し、判断する前にレビューを検証する、リポジトリの接地型エージェント・ジャッジであるSentinelを提示する。
Qwen3-Coder-30B-A3B-Instructから、Sentinelは特権教師からの反復的なアクションレベルの学習を通じてCRJudgeBenchトレーニングの分割を訓練する。
359instance CRJudgeBenchテストセットでは、Sentinelは76.60\%の精度を達成し、GLM-5.3を6.13ポイント、ベースモデルを19.78ポイント上回る。
これらの結果から,現在最先端の汎用LLMでさえ信頼できないコメントの特定に苦慮する一方で,反復的な行動レベルの学習は,リポジトリの信頼性判断の精度を大幅に向上させることが示された。
私たちのデータセットはhttps://huggingface.co/datasets/dcloud347/CRJudgeBenchmarkで利用可能です。
関連論文リスト
- ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - Is Agentic Code Review Helpful? Mining Developers' Feedback to CodeRabbit Reviews in the Wild [4.433169165028139]
自律的なエージェントがプルリクエストに関するコードレビューコメントを提供するエージェントコードレビューは、開発にますます統合されている。
本稿では,CodeRabbitを事例として,エージェントコードレビューの実証的研究を行う。
論文 参考訳（メタデータ） (2026-07-03T13:35:09Z) - CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers [39.97153044457166]
カテゴリ固有のベンチマークサブセットを構築し、人間のレビューが欠落している場合に評価をスキップし、完全性を強化します。
また、専門家のアノテーションとしてレビュアー-著者-レビューの議論を活用し、正確性を強化するために信頼できないレビューをフィルタリングします。
CoCoReviewBenchは、ICLRとNeurIPSから3,900の論文をキュレーションして、AIレビュアーの信頼性ときめ細かい評価を可能にする。
論文 参考訳（メタデータ） (2026-05-08T15:44:26Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。
複雑な敵戦略は単純な操作的コメントに勝るものではない。
コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
論文 参考訳（メタデータ） (2026-02-18T00:34:17Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10～20ポイント向上する。
論文 参考訳（メタデータ） (2025-04-15T10:07:33Z) - CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells [15.66562304661042]
CRScoreは、簡潔さ、包括性、関連性といったレビュー品質の次元を測定するための基準のないメトリクスである。
我々は、CRScoreが、オープンソースメトリクスの人間の判断に最も適した、正確できめ細かいレビュー品質のスコアを生成できることを実証した。
また、自動メトリクスの開発をサポートするために、マシン生成およびGitHubレビューコメントのための2.9kの人手によるレビュー品質スコアのコーパスもリリースしました。
論文 参考訳（メタデータ） (2024-09-29T21:53:18Z) - Identifying Inaccurate Descriptions in LLM-generated Code Comments via Test Execution [11.418182511485032]
3つの大言語モデル(LLM)が生成するコメントを評価する。
文書をLCMを用いて検証し、文書に基づいてテストを生成し、それらのテストを実行し、通過するかどうかを観察する文書テストの概念を提案する。
論文 参考訳（メタデータ） (2024-06-21T02:40:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。