論文の概要: The Impact of Large Language Models (LLMs) on Code Review Process
- arxiv url: http://arxiv.org/abs/2508.11034v1
- Date: Thu, 14 Aug 2025 19:39:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.656067
- Title: The Impact of Large Language Models (LLMs) on Code Review Process
- Title(参考訳): 大規模言語モデル(LLM)がコードレビュープロセスに及ぼす影響
- Authors: Antonio Collante, Samuel Abedu, SayedHassan Khatoonabadi, Ahmad Abdellatif, Ebube Alor, Emad Shihab,
- Abstract要約: 本稿では,GitHubプルリクエスト(PR)に対するGPTの影響について検討する。
私たちは9,254のGitHubプロジェクトから25,473のPRのデータセットをキュレートしました。
キーワードベース検出,正規表現フィルタリング,手動検証を組み合わせた半自動手法を用いて,GPT支援PRを同定した。
- 参考スコア(独自算出の注目度): 2.8071068465772853
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have recently gained prominence in the field of software development, significantly boosting productivity and simplifying teamwork. Although prior studies have examined task-specific applications, the phase-specific effects of LLM assistance on the efficiency of code review processes remain underexplored. This research investigates the effect of GPT on GitHub pull request (PR) workflows, with a focus on reducing resolution time, optimizing phase-specific performance, and assisting developers. We curated a dataset of 25,473 PRs from 9,254 GitHub projects and identified GPT-assisted PRs using a semi-automated heuristic approach that combines keyword-based detection, regular expression filtering, and manual verification until achieving 95% labeling accuracy. We then applied statistical modeling, including multiple linear regression and Mann-Whitney U test, to evaluate differences between GPT-assisted and non-assisted PRs, both at the overall resolution level and across distinct review phases. Our research has revealed that early adoption of GPT can substantially boost the effectiveness of the PR process, leading to considerable time savings at various stages. Our findings suggest that GPT-assisted PRs reduced median resolution time by more than 60% (9 hours compared to 23 hours for non-assisted PRs). We discovered that utilizing GPT can reduce the review time by 33% and the waiting time before acceptance by 87%. Analyzing a sample dataset of 300 GPT-assisted PRs, we discovered that developers predominantly use GPT for code optimization (60%), bug fixing (26%), and documentation updates (12%). This research sheds light on the impact of the GPT model on the code review process, offering actionable insights for software teams seeking to enhance workflows and promote seamless collaboration.
- Abstract(参考訳): 大規模言語モデル(LLM)は最近、ソフトウェア開発の分野で注目を集め、生産性を大幅に向上し、チームワークを簡素化しています。
従来の研究ではタスク固有の応用が検討されてきたが、コードレビュープロセスの効率性に対するLCM支援の位相特異的効果は未検討のままである。
本研究は、GitHubプルリクエスト(PR)ワークフローにおけるGPTの影響を調査し、解決時間の短縮、フェーズ固有のパフォーマンスの最適化、開発者支援に重点を置いている。
我々は9,254のGitHubプロジェクトから25,473のPRのデータセットを収集し、キーワードベースの検出、正規表現フィルタリング、手動検証を組み合わせた半自動ヒューリスティックアプローチを用いてGPT支援PRを特定し、95%のラベル付け精度を達成することができた。
次に,複数の線形回帰とマン・ホイットニーUテストを含む統計モデルを適用し,GPT支援型PRと非支援型PRの差を全体分解能レベルと異なるレビューフェーズの両方で評価した。
GPTの早期導入は, PRプロセスの有効性を著しく向上させ, 様々な段階での大幅な省エネにつながることが明らかとなった。
以上の結果より, GPT支援PRは中央値分解時間を60%以上短縮した(非支援PRでは23時間)。
GPTはレビュー時間を33%削減し,受理待ち時間を87%短縮できることがわかった。
300のGPT支援PRのサンプルデータセットを分析してみると、コード最適化(60%)、バグ修正(26%)、ドキュメント更新(12%)に主にGPTを使用していることが分かりました。
この研究は、GPTモデルがコードレビュープロセスに与える影響に光を当て、ワークフローを強化し、シームレスなコラボレーションを促進するソフトウェアチームに実用的な洞察を提供する。
関連論文リスト
- Exploring Reliable PPG Authentication on Smartwatches in Daily Scenarios [28.98973058936974]
Photoplethysmography (PPG)センサーはスマートウォッチに広く採用されており、日常的に使用するためのシンプルで非侵襲的な認証アプローチを提供する。
本稿では,PPG認証モデルであるMTL-RAPIDを提案する。
MTL-RAPIDは,動作アーチファクト,時間変化,ユーザの嗜好に関する総合的なユーザスタディにおいて,99.2%,EER3.5%を達成し,既存のベースラインを上回った。
論文 参考訳(メタデータ) (2025-03-31T10:25:48Z) - Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文 参考訳(メタデータ) (2024-05-01T11:10:24Z) - Large Language Models (GPT) for automating feedback on programming
assignments [0.0]
我々は,プログラミング課題を解決するためのパーソナライズされたヒントを生成するために,OpenAIのGPT-3.5モデルを採用している。
学生はGPT生成ヒントの有用性を肯定的に評価した。
論文 参考訳(メタデータ) (2023-06-30T21:57:40Z) - Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。
自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。
我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
論文 参考訳(メタデータ) (2023-06-16T15:13:17Z) - Progressive-Hint Prompting Improves Reasoning in Large Language Models [63.98629132836499]
本稿では,プログレッシブ・ヒント・プロンプト(PHP)と呼ばれる新しいプロンプト手法を提案する。
事前に生成された回答をヒントとして使用することで、ユーザとLLM(Large Language Models)間の自動多元的対話を可能にする。
我々は7つのベンチマークで広範囲かつ包括的な実験を行った。その結果、PHPは高い効率を保ちながら精度を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T16:29:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。