論文の概要: Improving Code Reviewer Recommendation: Accuracy, Latency, Workload, and Bystanders

• arxiv url: http://arxiv.org/abs/2312.17169v1
• Date: Thu, 28 Dec 2023 17:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 15:21:44.030016
• Title: Improving Code Reviewer Recommendation: Accuracy, Latency, Workload, and Bystanders
• Title（参考訳）: コードレビュアーのレコメンデーションを改善する - 正確性、レイテンシ、ワークロード、傍観者
• Authors: Peter C. Rigby, Seth Rogers, Sadruddin Saleem, Parth Suresh, Daniel Suskin, Patrick Riggs, Chandra Maddila, Nachiappan Nagappan
• Abstract要約: 当社は2018年のRevRecV1以降生産されているレコメンデータを構築しています。 私たちは、レビュアーがファイルの以前のオーサシップに基づいて割り当てられていることに気付きました。 レビューに責任を持つ個人を持つことは、レビューにかかる時間を11%削減する。
• 参考スコア（独自算出の注目度）: 6.538051328482194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code review ensures that a peer engineer manually examines the code before it is integrated and released into production. At Meta, we develop a wide range of software at scale, from social networking to software development infrastructure, such as calendar and meeting tools to continuous integration. We are constantly improving our code review system, and in this work we describe a series of experiments that were conducted across 10's of thousands of engineers and 100's of thousands of reviews. We build upon the recommender that has been in production since 2018, RevRecV1. We found that reviewers were being assigned based on prior authorship of files. We reviewed the literature for successful features and experimented with them with RevRecV2 in production. The most important feature in our new model was the familiarity of the author and reviewer, we saw an overall improvement in accuracy of 14 percentage points. Prior research has shown that reviewer workload is skewed. To balance workload, we divide the reviewer score from RevRecV2 by each candidate reviewers workload. We experimented with multiple types of workload to develop RevRecWL. We find that reranking candidate reviewers by workload often leads to a reviewers with lower workload being selected by authors. The bystander effect can occur when a team of reviewers is assigned the review. We mitigate the bystander effect by randomly assigning one of the recommended reviewers. Having an individual who is responsible for the review, reduces the time take for reviews by -11%.
• Abstract（参考訳）: コードレビューは、ピアエンジニアがコードを統合して本番環境にリリースする前に手動で検査することを保証する。 Metaでは、ソーシャルネットワーキングからカレンダやミーティングツールといったソフトウェア開発インフラストラクチャ、継続的インテグレーションなど、幅広いソフトウェアを大規模に開発しています。 私たちは常にコードレビューシステムを改善していますが、この作業では10万のエンジニアと100万のレビューで実施された一連の実験について述べています。 2018年から運用されているRevRecV1のレコメンデーションに基づいています。 我々は、レビュアーがファイルの以前のオーサシップに基づいて割り当てられていることを発見した。 我々は,本論文の特徴をレビューし,revrecv2を実機で実験した。 新しいモデルの最も重要な特徴は、著者とレビュアーの親しみであり、全体の精度が14ポイント向上したことです。 以前の研究では、レビュアーの作業負荷が歪んでいることが示されている。 作業負荷のバランスをとるために、各候補レビュアの作業負荷によってレビュアスコアをRevRecV2から分割する。 RevRecWLを開発するために,複数種類のワークロードを実験した。 作業負荷による候補レビュアーのランク付けは、しばしば、より低い作業負荷が著者によって選択されるレビュアーにつながる。 傍観者効果は、レビュアーのチームがレビューを割り当てられた時に起こりうる。 推薦レビュアーの1つをランダムに割り当てることで、傍観者効果を緩和する。 レビューに責任を持つ個人を持つことで、レビューに要する時間を-11%削減できる。

関連論文リスト

• CRScore: Grounding Automated Evaluation of Code Review Comments in Code Claims and Smells [15.66562304661042]
  我々は、簡潔さ、包括性、関連性などのレビュー品質の次元を測定するCRSスコアを開発した。 我々は、CRScoreが人間の判断に最も適しているレビュー品質の、正確できめ細かいスコアを生成できることを実証した。 また、自動メトリクスの開発をサポートするために、マシン生成およびGitHubレビューコメントのための2.6kの人手によるレビュー品質スコアのコーパスもリリースしました。
  論文  参考訳（メタデータ） (2024-09-29T21:53:18Z)
• Leveraging Reviewer Experience in Code Review Comment Generation [11.224317228559038]
  私たちは、自然言語のコードレビューを提供する際に、人間のレビュアーを模倣するためにディープラーニングモデルを訓練します。 生成したレビューの品質は、モデルトレーニングで使用されるオープンソースのコードレビューデータの品質のため、まだ最適化されていない。 本稿では,レビュー品質の指標として,過去のレビュアのオーサリングとレビューを活かした経験学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T07:52:50Z)
• Factoring Expertise, Workload, and Turnover into Code Review Recommendation [4.492444446637857]
  コードレビューが知識を自然に広めることで、ファイルのターンオーバーのリスクが軽減されることを示す。 我々は、レビュー中の専門知識のレベルへの影響を理解するために、新しいレコメンデーターを開発する。 レビュー中に専門知識をグローバルに増加させ、+3%、ワークロードの集中度を12%減らし、ファイルのリスクを28%減らすことができます。
  論文  参考訳（メタデータ） (2023-12-28T18:58:06Z)
• Using Large-scale Heterogeneous Graph Representation Learning for Code Review Recommendations [7.260832843615661]
  我々は、レビュアーレコメンデーションのための新しいアプローチであるCoRALを提示する。 私たちは、リッチなエンティティセットから構築された社会技術的グラフを使用します。 我々は,コラルがレビュアー選択のマニュアル履歴を極めてうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-02-04T20:58:54Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review [35.24369486197371]
  現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
  論文  参考訳（メタデータ） (2020-11-30T09:35:37Z)
• ReviewRobot: Explainable Paper Review Generation based on Knowledge Synthesis [62.76038841302741]
  レビュースコアを自動的に割り当てて,新規性や意味のある比較など,複数のカテゴリのコメントを書くための,新しいReviewRobotを構築した。 実験の結果,レビュースコア予測器の精度は71.4%-100%であった。 ドメインの専門家による人間による評価は、ReviewRobotが生成したコメントの41.7%-70.5%が有効で建設的であり、その20%は人間が書いたものよりも優れていることを示している。
  論文  参考訳（メタデータ） (2020-10-13T02:17:58Z)
• Code Review in the Classroom [57.300604527924015]
  教室設定の若い開発者は、コードレビュープロセスの潜在的に有利で問題のある領域の明確な図を提供している。 彼らのフィードバックは、プロセスはプロセスを改善するためにいくつかのポイントで十分に受け入れられていることを示唆している。 本論文は,教室でコードレビューを行うためのガイドラインとして利用することができる。
  論文  参考訳（メタデータ） (2020-04-19T06:07:45Z)
• Automating App Review Response Generation [67.58267006314415]
  本稿では,レビューと回答の知識関係を学習することで,レビュー応答を自動的に生成する新しいアプローチRRGenを提案する。 58のアプリと309,246のレビュー-レスポンスペアの実験では、RRGenはBLEU-4の点で少なくとも67.4%のベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-02-10T05:23:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。