論文の概要: Factoring Expertise, Workload, and Turnover into Code Review
Recommendation
- arxiv url: http://arxiv.org/abs/2312.17236v1
- Date: Thu, 28 Dec 2023 18:58:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 14:32:08.805755
- Title: Factoring Expertise, Workload, and Turnover into Code Review
Recommendation
- Title(参考訳): コードレビューレコメンデーションへのファクタリングのエキスパート、ワークロード、ターンオーバー
- Authors: Fahimeh Hajari, Samaneh Malmir, Ehsan Mirsaeedi, Peter C. Rigby
- Abstract要約: コードレビューが知識を自然に広めることで、ファイルのターンオーバーのリスクが軽減されることを示す。
我々は、レビュー中の専門知識のレベルへの影響を理解するために、新しいレコメンデーターを開発する。
レビュー中に専門知識をグローバルに増加させ、+3%、ワークロードの集中度を12%減らし、ファイルのリスクを28%減らすことができます。
- 参考スコア(独自算出の注目度): 4.492444446637857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developer turnover is inevitable on software projects and leads to knowledge
loss, a reduction in productivity, and an increase in defects. Mitigation
strategies to deal with turnover tend to disrupt and increase workloads for
developers. In this work, we suggest that through code review recommendation we
can distribute knowledge and mitigate turnover while more evenly distributing
review workload.
We conduct historical analyses to understand the natural concentration of
review workload and the degree of knowledge spreading that is inherent in code
review. Even though review workload is highly concentrated, we show that code
review natural spreads knowledge thereby reducing the files at risk to
turnover.
Using simulation, we evaluate existing code review recommenders and develop
novel recommenders to understand their impact on the level of expertise during
review, the workload of reviewers, and the files at risk to turnover. Our
simulations use seeded random replacement of reviewers to allow us to compare
the reviewer recommenders without the confounding variation of different
reviewers being replaced for each recommender.
Combining recommenders, we develop the SofiaWL recommender that suggests
experts with low active review workload when none of the files under review are
known by only one developer. In contrast, when knowledge is concentrated on one
developer, it sends the review to other reviewers to spread knowledge. For the
projects we study, we are able to globally increase expertise during reviews,
+3%, reduce workload concentration, -12%, and reduce the files at risk, -28%.
We make our scripts and data available in our replication package. Developers
can optimize for a particular outcome measure based on the needs of their
project, or use our GitHub bot to automatically balance the outcomes.
- Abstract(参考訳): ソフトウェアプロジェクトでの開発者の転職は避けられず、知識の喪失、生産性の低下、欠陥の増加につながります。
ターンオーバに対処する緩和戦略は、開発者のワークロードを混乱させ、増加させる傾向がある。
本研究では,コードレビューのレコメンデーションを通じて,より均等にレビュー作業負荷を分散しながら,知識の分散とターンオーバーの緩和を提案できる。
我々は、コードレビューに固有の、レビュー作業の自然な集中度と知識の拡散度を理解するために、歴史的分析を行う。
レビューの作業負荷は高いが,コードレビューが知識を自然に広めることで,ファイルのターンオーバーのリスクが軽減されることを示す。
シミュレーションを用いて,既存のコードレビューレコメンダを評価し,レビュー中の専門知識のレベル,レビュアーのワークロード,転向リスクのあるファイルに対する影響を理解するための新しいレコメンダを開発する。
シミュレーションでは,レビュアー毎に異なるレビュアーを置き換えることなく,レビュアーのレビュアーの比較を行うために,レビュアーをシードランダムに置き換えた。
レコメンダを組み合わせることで、レビュー中のファイルが1人の開発者しか知られていない場合に、アクティブなレビュー作業の少ない専門家を推奨するsofiawlレコメンダを開発した。
対照的に、知識が開発者に集中すると、他のレビュアーにレビューを送り、知識を広める。
調査対象のプロジェクトでは,レビュー期間中の専門性の向上,+3%,ワークロードの集中度低下,-12%,ファイルのリスク低減,-28%が可能です。
スクリプトとデータをレプリケーションパッケージで利用可能にします。
開発者はプロジェクトのニーズに基づいて、特定の結果尺度を最適化したり、GitHubボットを使って結果のバランスを取ることができます。
関連論文リスト
- Deep Learning-based Code Reviews: A Paradigm Shift or a Double-Edged Sword? [14.970843824847956]
私たちは、自動生成されたコードレビューのサポートなしで、異なるプログラムをレビューする29人の専門家による制御された実験を実行しました。
本研究は,LLMが自動認識する問題の大部分をレビュアが有効とみなし,自動化されたレビューを出発点として利用できることが,彼らの行動に強く影響していることを示す。
しかし、自動化されたレビューから始まったレビュアーは、完全な手作業のプロセスと比較して、より高重度な問題を特定できない一方で、より多くの低重度な問題を特定した。
論文 参考訳(メタデータ) (2024-11-18T09:24:01Z) - Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳(メタデータ) (2024-10-29T12:21:23Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳(メタデータ) (2024-10-02T09:11:10Z) - Leveraging Reviewer Experience in Code Review Comment Generation [11.224317228559038]
私たちは、自然言語のコードレビューを提供する際に、人間のレビュアーを模倣するためにディープラーニングモデルを訓練します。
生成したレビューの品質は、モデルトレーニングで使用されるオープンソースのコードレビューデータの品質のため、まだ最適化されていない。
本稿では,レビュー品質の指標として,過去のレビュアのオーサリングとレビューを活かした経験学習手法を提案する。
論文 参考訳(メタデータ) (2024-09-17T07:52:50Z) - Improving Automated Code Reviews: Learning from Experience [12.573740138977065]
本研究では,自動コードレビューモデルから高品質なレビューを生成できるかどうかを検討する。
経験を意識したオーバーサンプリングは、レビューの正確性、情報レベル、有意義性を高めることができる。
論文 参考訳(メタデータ) (2024-02-06T07:48:22Z) - Improving Code Reviewer Recommendation: Accuracy, Latency, Workload, and
Bystanders [6.538051328482194]
当社は2018年のRevRecV1以降生産されているレコメンデータを構築しています。
私たちは、レビュアーがファイルの以前のオーサシップに基づいて割り当てられていることに気付きました。
レビューに責任を持つ個人を持つことは、レビューにかかる時間を11%削減する。
論文 参考訳(メタデータ) (2023-12-28T17:55:13Z) - Using Large-scale Heterogeneous Graph Representation Learning for Code
Review Recommendations [7.260832843615661]
我々は、レビュアーレコメンデーションのための新しいアプローチであるCoRALを提示する。
私たちは、リッチなエンティティセットから構築された社会技術的グラフを使用します。
我々は,コラルがレビュアー選択のマニュアル履歴を極めてうまくモデル化できることを示した。
論文 参考訳(メタデータ) (2022-02-04T20:58:54Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z) - Showing Your Work Doesn't Always Work [73.63200097493576]
『Show Your Work: Improved Reporting of Experimental Results』では、最高の学習モデルの有効性を報告している。
解析的にそれらの推定器は偏りがあり、エラーを起こしやすい仮定を用いていることを示す。
我々は、偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。
論文 参考訳(メタデータ) (2020-04-28T17:59:01Z) - Automating App Review Response Generation [67.58267006314415]
本稿では,レビューと回答の知識関係を学習することで,レビュー応答を自動的に生成する新しいアプローチRRGenを提案する。
58のアプリと309,246のレビュー-レスポンスペアの実験では、RRGenはBLEU-4の点で少なくとも67.4%のベースラインを上回っている。
論文 参考訳(メタデータ) (2020-02-10T05:23:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。