論文の概要: From Static to Dynamic: Benchmarking Real-World Code Review with MCR-Bench
- arxiv url: http://arxiv.org/abs/2608.27442v1
- Date: Thu, 27 Aug 2026 17:56:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.521343
- Title: From Static to Dynamic: Benchmarking Real-World Code Review with MCR-Bench
- Title（参考訳）: 静的から動的へ - MCR-Benchによる実世界のコードレビューのベンチマーク
- Abstract要約: MCR-Benchは、現実的なマルチラウンドコードレビューのための最初の欠陥状態認識ベンチマークである。
実際の2,269のマルチラウンドコードレビュータスクで構成されており、それぞれに詳細な欠陥情報が注釈付けされている。
- 参考スコア（独自算出の注目度）: 47.66050051250628
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In real-world software development, code review typically involves iterative interactions between developers and reviewers to improve software quality, making the process costly and time-consuming. Although recent work explores large language models (LLMs) for automated code review, most approaches oversimplify code review into a single-round, static decision task, which fails to capture the multi-round interactive nature and the complex problem-solving processes inherent in realistic review scenarios. To bridge this gap, we introduce MCR-Bench, the first defect state-aware benchmark designed for realistic multi-round code review. MCR-Bench covers five commonly-used programming languages and consists of 2,269 real-world multi-round code review tasks, each of which is annotated with fine-grained defect information and cross-round state labels. Each task in MCR-Bench is equipped with fine-grained defect metadata (e.g., description, type, severity) alongside dynamic state annotations, capturing the complete evolutionary trajectory of a defect throughout the multi-round process. We obtain several findings through extensive experiments on MCR-Bench with mainstream LLMs. (1) Limited overall capability: experiments reveal that mainstream LLMs exhibit limited overall performance in defect detection and defect lifecycle state tracking, with performance degrading significantly as the number of interaction rounds increases; (2) Defect-sensitive performance: LLMs' performance varies substantially across different defect types and severity levels, with semantically complex or low-salience defects being significantly more likely to be missed; (3) Underlying Failure Mechanisms: our in-depth error analysis dissects the distinct drivers of false positives and false negatives, revealing critical weaknesses such as cross-round temporal misalignment and inadequate long-range memory.
- Abstract（参考訳）: 現実世界のソフトウェア開発では、コードレビューは通常、開発者とレビュアーの間で反復的なインタラクションを伴い、ソフトウェアの品質を改善し、プロセスのコストと時間がかかります。
最近の研究は、自動コードレビューのための大きな言語モデル(LLM)を探求しているが、ほとんどのアプローチは、コードレビューを1ラウンドの静的な決定タスクに単純化し、現実的なレビューシナリオに固有の、多ラウンドのインタラクティブな性質と複雑な問題解決プロセスを捉えるのに失敗している。
このギャップを埋めるために、私たちはMCR-Benchを紹介します。
MCR-Benchは5つの一般的なプログラミング言語をカバーし、2,269の現実世界のコードレビュータスクで構成されている。
MCR-Benchの各タスクは、動的状態アノテーションとともにきめ細かい欠陥メタデータ(例えば、説明、型、重大さ)を備え、マルチラウンドプロセス全体を通して欠陥の完全な進化軌道をキャプチャする。
メインストリームLLMを用いたMCR-Benchに関する広範な実験により,いくつかの知見を得た。
1) 限定的な総合能力: 実験により, 欠陥検出および欠陥ライフサイクル状態追跡において, 性能が著しく低下し, 相互作用ラウンド数が増加するにつれて, 性能が低下することが明らかとなった。(2) 欠陥感受性性能: LLMのパフォーマンスは, 意味的に複雑で, あるいは低セレンスな欠陥が見逃される可能性が著しく高い, (3) 障害メカニズムの理解: 奥行きエラー分析は, 偽陽性と偽陰性の異なるドライバを識別し, クロスラウンド時間的不整合や不適切な長期記憶などの致命的な弱点を明らかにする。
関連論文リスト
- MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。
6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。
MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
論文 参考訳（メタデータ） (2026-09-14T03:57:37Z) - MMPCBench: Benchmarking Multimodal Large Language Models on Proactive Critique of Flawed Inputs [16.970480774847857]
我々は、Proactive Critiqueを、追加のプロンプトなしで欠陥のあるユーザ入力を特定し、分析し、修正するモデルの自律的な能力として定義する。
MLLMの積極的批判能力を評価するための総合的なフレームワークMMPCBenchを提案する。
12のサブカテゴリにまたがる4つの主要なエラータイプのきめ細かい分類が特徴で、クロスモーダルな矛盾から視覚的前提の欠如まで様々である。
論文 参考訳（メタデータ） (2026-08-29T14:19:10Z) - DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues [54.31138496553705]
DiCoBenchは、きめ細かい知覚のための包括的でマルチイメージの高解像度のベンチマークである。
評価の結果,人的精度 (98.3%) と比較して顕著な性能差がみられた。
DiCoBenchは、自律的で高解像度のマルチイメージ知覚における将来の研究を促進するための、挑戦的なテストベッドとして機能すると考えています。
論文 参考訳（メタデータ） (2026-06-25T05:02:38Z) - Omni-I2C: A Holistic Benchmark for High-Fidelity Image-to-Code Generation [59.87131391492088]
我々は,複雑な構造化デジタルグラフィックスを実行可能なコードに変換する上で,LMM(Large Multimodal Models)の能力を評価するために設計されたベンチマークであるOmni-I2Cを提案する。
真のユーザソースのケースを組み込むことで、このベンチマークは広範囲のデジタルコンテンツにまたがる。
評価の結果,主要なLMM間の性能差が顕著であることがわかった。
論文 参考訳（メタデータ） (2026-03-18T09:10:04Z) - AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context [10.769682566098695]
AACR-Benchは、複数のプログラミング言語にまたがる完全なクロスファイルコンテキストを提供する包括的なベンチマークである。
従来のデータセットとは異なり、AACR-Benchは潜伏する欠陥を明らかにするために"AIアシスト、エキスパート検証"のアノテーションパイプラインを使用している。
論文 参考訳（メタデータ） (2026-01-27T11:28:44Z) - InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。
対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:26:29Z) - Benchmarking Correctness and Security in Multi-Turn Code Generation [41.75392001830794]
MTSecは,マルチターン符号化シナリオにおける正当性とセキュリティを評価する最初のベンチマークである。
MT-Secでは32のオープンソースモデルとクローズドソースモデルと3つのエージェントスキャフォールディングを評価した。
エージェント生成スキャフォールディングは単一ターンコード生成性能を高めるが,マルチターン評価にはあまり有効ではないことがわかった。
論文 参考訳（メタデータ） (2025-10-13T01:20:46Z) - CodeFuse-CR-Bench: A Comprehensiveness-aware Benchmark for End-to-End Code Review Evaluation in Python Projects [23.9752442213364]
CodeFuse-CR-Benchは、リポジトリレベルのCR評価のための、最初の包括性対応ベンチマークである。
CodeFuse-CR-Benchは、9つのプルリクエスト(PR)問題ドメインをカバーする70のPythonプロジェクトから601の高品質なインスタンスで構成されている。
本稿では,この包括的CR課題に対して,最先端の大規模言語モデル(LLM)の大規模評価を行う。
論文 参考訳（メタデータ） (2025-09-18T11:24:09Z) - Reasoning Multimodal Large Language Model: Data Contamination and Dynamic Evaluation [9.434966074326056]
MLLM(Multimodal Large Language Models)は、視覚ベースのベンチマーク性能を示すが、真の一般化を隠蔽するデータ汚染リスクへの懸念が増大している。
静的ベンチマークを超えてMLLMの一般化を厳格に評価する新しい動的評価フレームワークを提案する。
シミュレーションテストデータ(極端汚染)の微調整はタスク固有の性能を大幅に向上させるが、全体的な一般化には悪影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2025-06-08T15:52:38Z) - MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation [56.87891213797931]
大規模言語モデルに対するMTR-Benchの評価について述べる。
4つのクラス、40のタスク、3600のインスタンスを含むMTR-Benchは、様々な推論機能をカバーする。
MTR-Benchは、データセットの構築とモデル評価の両方にまたがる、完全に自動化されたフレームワークを備えている。
論文 参考訳（メタデータ） (2025-05-21T17:59:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。