論文の概要: Is Agentic Code Review Helpful? Mining Developers' Feedback to CodeRabbit Reviews in the Wild
- arxiv url: http://arxiv.org/abs/2607.03316v1
- Date: Fri, 03 Jul 2026 13:35:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.587859
- Title: Is Agentic Code Review Helpful? Mining Developers' Feedback to CodeRabbit Reviews in the Wild
- Title(参考訳): エージェントコードレビューは役に立ちますか? CodeRabbitレビューに対する開発者のフィードバックを掘り下げる
- Abstract要約: 自律的なエージェントがプルリクエストに関するコードレビューコメントを提供するエージェントコードレビューは、開発にますます統合されている。
本稿では,CodeRabbitを事例として,エージェントコードレビューの実証的研究を行う。
- 参考スコア(独自算出の注目度): 4.433169165028139
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic code review, where autonomous agents provide code review comments on pull requests, is increasingly integrated into development workflows, yet there is limited empirical evidence on how developers respond to such comments in practice. In this paper, we present an empirical study of agentic code reviews using CodeRabbit as a case study. Through an empirical study of 31,073 pairs of code reviews and developer feedback from 10,191 pull requests across 239 GitHub repositories, our results show that agentic reviews receive mixed reception: 36.4% were accepted and 7.3% triggered discussion, while 56.3% were rejected. Rejections were primarily associated with invalid suggestions that were false positives, redundant, or out of scope, as well as misalignment with developer intent and coding practices. We further found that agentic reviews tend to focus more on functional concerns than evolvability-related comments, yet they were more likely to be invalid. To improve effectiveness in review practices, we explored various LLM-based approaches for predicting review rejection. We found that lightweight learning-based methods achieve up to 76% F1 score, suggesting learnable patterns exist between code reviews and their corresponding feedback. Our results highlight the current state of CodeRabbit's agentic code reviews, showing opportunity gaps for improvement, as well as shortcomings hindering its effectiveness.
- Abstract(参考訳): 自律的なエージェントがプルリクエストに関するコードレビューコメントを提供するエージェントコードレビューは、開発ワークフローにますます統合されている。
本稿では,CodeRabbitを事例として,エージェントコードレビューの実証的研究を行う。
31,073対のコードレビューと、239のGitHubリポジトリにわたる10,191件のプルリクエストからの開発者からのフィードバックを実証的に調査した結果、エージェントレビューは、36.4%が受け入れ、7.3%が議論を誘発し、56.3%が拒否された。
拒絶は、主に、偽陽性、冗長、スコープ外といった無効な提案と、開発者の意図やコーディングプラクティスとのミスアライメントに関連付けられていた。
さらに、エージェントレビューは、進化可能性に関するコメントよりも機能的な関心事に注目する傾向にあるが、それらが無効である可能性が高いこともわかりました。
レビューの実践における有効性を改善するために,レビュー拒否を予測するための様々なLCMベースのアプローチを検討した。
コードレビューとそれに対応するフィードバックの間には,学習可能なパターンが存在することが示唆された。
この結果から,CodeRabbitのエージェントコードレビューの現状が強調され,改善の機会ギャップと,その有効性を阻害する欠点が示された。
関連論文リスト
- "Go Home Copilot, You're Drunk": Understanding Developer Responses to Agent-Generated Code Review Comments [11.53008696469705]
本稿では,エージェント生成コードレビューコメントの解決に関する大規模な実証的研究について紹介する。
GitHub上の342ドルのPythonリポジトリで、広く使われている5つのコーディングエージェントが生成した54,791のコメントを分析します。
以上の結果から、解決率はエージェントによって大きく異なり、Copilotは解決されたコメントの大多数を占めています。
論文 参考訳(メタデータ) (2026-07-24T05:51:48Z) - SWE-Review: Closing the Loop on Issue Resolution with Agentic Code Review [47.72392142544407]
コーディングエージェントは、現実世界のソフトウェア問題に対するプルリクエスト(PR)をますます生成します。
PRは、体系的なレビュー、診断、修正なしに提案される。
エージェントコードレビューでこのループを閉じるためのフレームワークである textbfSWE-Review を導入する。
論文 参考訳(メタデータ) (2026-07-07T09:37:45Z) - ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues [54.98461672730087]
ReproRepoは、人為的なGitHub問題を活用するスケーラブルな評価フレームワークで、現実的な再現ブロッカーを自然に監視する。
ReproRepoは、大規模なカンファレンスから1,149件の機械学習論文をインスタンス化し、4つのフロンティアモデルエージェント構成を評価します。
その結果, LLMエージェントは, コードを実行せずにも, 紙とリポジトリのペアから多くの実世界の問題を識別できることがわかった。
論文 参考訳(メタデータ) (2026-06-16T17:58:05Z) - What to Cut? Predicting Unnecessary Methods in Agentic Code Generation [0.0]
本稿では,PRレビュー中に削除される可能性のある関数を識別する予測モデルを提案する。
その結果,異なる理由で削除された関数は,異なる特徴を示すことがわかった。
これらの結果は、予測的アプローチがレビュアーの本質的なコードへの取り組みの優先順位付けに役立つことを示唆している。
論文 参考訳(メタデータ) (2026-02-19T05:29:32Z) - Understanding Dominant Themes in Reviewing Agentic AI-authored Code [6.183483850365225]
実世界のGitHubリポジトリから,3,177件のエージェントによるPRにまたがる19,450件のインラインレビューコメントを分析した。
AIエージェントはコード生成を加速できるが、対象とする人間レビューの監視を必要とするギャップは依然として残っている。
論文 参考訳(メタデータ) (2026-01-27T07:21:09Z) - RovoDev Code Reviewer: A Large-Scale Online Evaluation of LLM-based Code Review Automation at Atlassian [6.019311657369222]
LLM(Large Language Models)を利用したコードレビュー自動化は、シームレスなコードレビューを変換する可能性がある。
レビューガイド付き、コンテキスト対応、品質チェック済みのコードレビューコメント生成を、微調整なしでどうやって設計できるのか?
我々は、エンタープライズレベルのLLMベースのコードレビュー自動化ツールであるRovoDev Code Reviewerを、AtlassianのBitbucketに統合されたAtlassianの開発エコシステム内で、大規模に設計、デプロイした。
論文 参考訳(メタデータ) (2026-01-03T09:27:56Z) - Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳(メタデータ) (2025-04-13T22:01:25Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳(メタデータ) (2024-10-29T12:21:23Z) - Towards debiasing code review support [1.188383832081829]
本稿では,コードレビュー中の認知バイアスによる有害症例について検討する。
特に,確認バイアスと判定疲労をカバーするプロトタイプを設計する。
既存のコードレビューツールで実装できるテクニックがあることを示します。
論文 参考訳(メタデータ) (2024-07-01T15:58:14Z) - Factoring Expertise, Workload, and Turnover into Code Review
Recommendation [4.492444446637857]
コードレビューが知識を自然に広めることで、ファイルのターンオーバーのリスクが軽減されることを示す。
我々は、レビュー中の専門知識のレベルへの影響を理解するために、新しいレコメンデーターを開発する。
レビュー中に専門知識をグローバルに増加させ、+3%、ワークロードの集中度を12%減らし、ファイルのリスクを28%減らすことができます。
論文 参考訳(メタデータ) (2023-12-28T18:58:06Z) - Code Review in the Classroom [57.300604527924015]
教室設定の若い開発者は、コードレビュープロセスの潜在的に有利で問題のある領域の明確な図を提供している。
彼らのフィードバックは、プロセスはプロセスを改善するためにいくつかのポイントで十分に受け入れられていることを示唆している。
本論文は,教室でコードレビューを行うためのガイドラインとして利用することができる。
論文 参考訳(メタデータ) (2020-04-19T06:07:45Z) - Automating App Review Response Generation [67.58267006314415]
本稿では,レビューと回答の知識関係を学習することで,レビュー応答を自動的に生成する新しいアプローチRRGenを提案する。
58のアプリと309,246のレビュー-レスポンスペアの実験では、RRGenはBLEU-4の点で少なくとも67.4%のベースラインを上回っている。
論文 参考訳(メタデータ) (2020-02-10T05:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。