論文の概要: RovoDev Code Reviewer: A Large-Scale Online Evaluation of LLM-based Code Review Automation at Atlassian
- arxiv url: http://arxiv.org/abs/2601.01129v1
- Date: Sat, 03 Jan 2026 09:27:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.044613
- Title: RovoDev Code Reviewer: A Large-Scale Online Evaluation of LLM-based Code Review Automation at Atlassian
- Title（参考訳）: RovoDev Code Reviewer: AtlassianのLLMベースのコードレビュー自動化の大規模オンライン評価
- Authors: Kla Tantithamthavorn, Yaotian Zou, Andy Wong, Michael Gupta, Zhe Wang, Mike Buller, Ryan Jiang, Matthew Watson, Minwoo Jeong, Kun Chen, Ming Wu,
- Abstract要約: LLM(Large Language Models)を利用したコードレビュー自動化は、シームレスなコードレビューを変換する可能性がある。
レビューガイド付き、コンテキスト対応、品質チェック済みのコードレビューコメント生成を、微調整なしでどうやって設計できるのか?
我々は、エンタープライズレベルのLLMベースのコードレビュー自動化ツールであるRovoDev Code Reviewerを、AtlassianのBitbucketに統合されたAtlassianの開発エコシステム内で、大規模に設計、デプロイした。
- 参考スコア（独自算出の注目度）: 6.019311657369222
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs)-powered code review automation has the potential to transform code review workflows. Despite the advances of LLM-powered code review comment generation approaches, several practical challenges remain for designing enterprise-grade code review automation tools. In particular, this paper aims at answering the practical question: how can we design a review-guided, context-aware, quality-checked code review comment generation without fine-tuning? In this paper, we present RovoDev Code Reviewer, an enterprise-grade LLM-based code review automation tool designed and deployed at scale within Atlassian's development ecosystem with seamless integration into Atlassian's Bitbucket. Through the offline, online, user feedback evaluations over a one-year period, we conclude that RovoDev Code Reviewer is (1) effective in generating code review comments that could lead to code resolution for 38.70% (i.e., comments that triggered code changes in the subsequent commits); and (2) offers the promise of accelerating feedback cycles (i.e., decreasing the PR cycle time by 30.8%), alleviating reviewer workload (i.e., reducing the number of human-written comments by 35.6%), and improving overall software quality (i.e., finding errors with actionable suggestions).
- Abstract（参考訳）: LLM(Large Language Models)を利用したコードレビュー自動化は、コードレビューワークフローを変換する可能性がある。
LLMを使ったコードレビューコメント生成アプローチの進歩にもかかわらず、エンタープライズグレードのコードレビュー自動化ツールを設計する上で、いくつかの実践的な課題が残っている。
特に,本論文は,レビューガイド付き,コンテキスト対応,品質チェックによるコードレビューコメント生成を,微調整なしでどうやって設計できるのかという,現実的な疑問に答えることを目的としている。
本稿では、企業レベルのLLMベースのコードレビュー自動化ツールであるRovoDev Code Reviewerを紹介します。
1年間のオフライン、オンライン、ユーザフィードバック評価を通じて、RovoDev Code Reviewerは、(1)コード解決につながるコードレビューコメントを38.70%(つまり、その後のコミットでコード変更を引き起こしたコメント)に効果的に生成する、(2)フィードバックサイクルの加速(PRサイクルタイムを30.8%削減)、レビューアの作業負荷の軽減(35.6%削減)、ソフトウェア全体の品質の向上(実行可能な提案によるエラーの発見)を提供する、と結論付けた。
関連論文リスト
- LAURA: Enhancing Code Review Generation with Context-Enriched Retrieval-Augmented LLM [17.54065758880181]
本稿では,LAURA というコードレビュー生成のための LLM ベースの知識付加型コンテキスト認識フレームワークを提案する。
このフレームワークは、コードレビューコメントの生成におけるChatGPT-4oとDeepSeek v3のパフォーマンスを高めるために、レビュー検索、コンテキスト拡張、システマティックガイダンスを統合している。
論文 参考訳（メタデータ） (2025-12-01T07:10:23Z) - What Types of Code Review Comments Do Developers Most Frequently Resolve? [10.277847378685161]
コードレビューコメントを生成するために,LLM(Large Language Model)を使用したコードレビュー自動化ツールが導入されている。
本稿では、人間やLLMが書いたレビューコメントのタイプと、開発者が最も頻繁に解決しているコメントのタイプについて検討する。
論文 参考訳（メタデータ） (2025-10-06T23:32:26Z) - Leveraging Reward Models for Guiding Code Review Comment Generation [13.306560805316103]
コードレビューは、コード品質の評価、潜在的な問題に対するフィードバックの提供、特定された問題に対処するためのコード修正を含む、現代のソフトウェア開発において重要なコンポーネントである。
ディープラーニングのテクニックは、人間のレビュアーが行うようなコードにコメントすることで、コードレビューのジェネレーティブな側面に取り組むことができる。
本稿では,報酬機構を備えた強化学習を活用することによって,レビューコメント生成を自動化するディープラーニングフレームワークであるCoRALを紹介する。
論文 参考訳（メタデータ） (2025-06-04T21:31:38Z) - Deep Learning-based Code Reviews: A Paradigm Shift or a Double-Edged Sword? [14.970843824847956]
私たちは、自動生成されたコードレビューのサポートなしで、異なるプログラムをレビューする29人の専門家による制御された実験を実行しました。
本研究は,LLMが自動認識する問題の大部分をレビュアが有効とみなし,自動化されたレビューを出発点として利用できることが,彼らの行動に強く影響していることを示す。
しかし、自動化されたレビューから始まったレビュアーは、完全な手作業のプロセスと比較して、より高重度な問題を特定できない一方で、より多くの低重度な問題を特定した。
論文 参考訳（メタデータ） (2024-11-18T09:24:01Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳（メタデータ） (2024-04-11T08:30:46Z) - InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文 参考訳（メタデータ） (2024-03-11T02:06:30Z) - Deep Just-In-Time Inconsistency Detection Between Comments and Source
Code [51.00904399653609]
本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。
私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。
より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
論文 参考訳（メタデータ） (2020-10-04T16:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。