論文の概要: Predicting the First Response Latency of Maintainers and Contributors in Pull Requests

• arxiv url: http://arxiv.org/abs/2311.07786v1
• Date: Mon, 13 Nov 2023 22:32:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 16:06:45.924776
• Title: Predicting the First Response Latency of Maintainers and Contributors in Pull Requests
• Title（参考訳）: プルリクエストにおけるメンテナとコントリビュータの最初のレスポンスレイテンシの予測
• Authors: SayedHassan Khatoonabadi, Ahmad Abdellatif, Diego Elias Costa, Emad Shihab
• Abstract要約: 本稿では,PR後のメンテナの応答遅延を予測するための機械学習手法を提案する。 GitHubでは、大規模で人気のあるオープンソースプロジェクト20のデータセットを使用しています。 AUC-ROCは平均33%,AUC-PRは58%,AUC-ROCは42%,AUC-PRは95%であった。
• 参考スコア（独自算出の注目度）: 4.710141711181836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of a Pull Request (PR) depends on the responsiveness of the maintainers and the contributor during the review process. Being aware of the expected waiting times can lead to better interactions and managed expectations for both the maintainers and the contributor. In this paper, we propose a machine-learning approach to predict the first response latency of the maintainers following the submission of a PR, and the first response latency of the contributor after receiving the first response from the maintainers. We curate a dataset of 20 large and popular open-source projects on GitHub and extract 21 features to characterize projects, contributors, PRs, and review processes. Using these features, we then evaluate seven types of classifiers to identify the best-performing models. We also perform permutation feature importance and SHAP analyses to understand the importance and impact of different features on the predicted response latencies. Our best-performing models achieve an average improvement of 33% in AUC-ROC and 58% in AUC-PR for maintainers, as well as 42% in AUC-ROC and 95% in AUC-PR for contributors compared to a no-skilled classifier across the projects. Our findings indicate that PRs submitted earlier in the week, containing an average or slightly above-average number of commits, and with concise descriptions are more likely to receive faster first responses from the maintainers. Similarly, PRs with a lower first response latency from maintainers, that received the first response of maintainers earlier in the week, and containing an average or slightly above-average number of commits tend to receive faster first responses from the contributors. Additionally, contributors with a higher acceptance rate and a history of timely responses in the project are likely to both obtain and provide faster first responses.
• Abstract（参考訳）: プルリクエスト(PR)の成功は、レビュープロセス中のメンテナとコントリビュータの応答性に依存する。 期待された待ち時間を認識していることは、よりよいインタラクションと、メンテナとコントリビュータの両方に対する管理された期待につながります。 本稿では,PRの提出後の保守者の最初の応答遅延と,保守者から最初の応答遅延を受信したコントリビュータの最初の応答遅延を予測するための機械学習手法を提案する。 GitHub上で20の大規模で人気のあるオープンソースプロジェクトのデータセットをキュレートし、プロジェクト、コントリビュータ、PR、レビュープロセスを特徴付ける21の機能を抽出します。 これらの特徴を用いて、7種類の分類器を評価し、最高の性能モデルを特定する。 また,予測応答遅延に対する異なる特徴の重要性と影響を理解するために,置換特徴の重要性とSHAP分析を行った。 私たちのベストパフォーマンスモデルでは,auc-rocでは平均33%,メンテナでは58%,auc-rocでは42%,コントリビュータでは95%の改善を達成しています。 以上の結果から,週内に提出されたPRは平均以上のコミット数であり,簡潔な説明が得られた場合,メンテナからのファーストレスポンスがより高速になる可能性が示唆された。 同様に、メンテナからの最初のレスポンスレイテンシが低いPRは、今週初めにメンテナから最初のレスポンスを受け取り、平均的あるいはわずかに高い数のコミットを含むと、コントリビュータからより高速なファーストレスポンスを受け取る傾向にある。 さらに、プロジェクトの受け入れ率が高く、タイムリーなレスポンスの履歴を持つコントリビュータは、より高速なファーストレスポンスを取得し、提供できる可能性が高い。

関連論文リスト

• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Self-Refinement of Language Models from External Proxy Metrics Feedback [27.57840561708484]
  ProMiSe(Proxy Metric-based Self-Refinement) ProMiSeは、その応答を一度に1つの原則を反復的に洗練する。 オープンソース言語モデルFlan-T5-XXLとLlama-2-13B-ChatにProMiSeを適用する。
  論文  参考訳（メタデータ） (2024-02-27T19:13:01Z)
• Strong and Efficient Baselines for Open Domain Conversational Question Answering [2.773656427800412]
  The State-of-the-Art (SotA) Dense Passage Retrieval (DPR) retriever and Fusion-in-Decoder (FiD) reader pipeline。 本稿では,レシーバとリーダの間に高速なリグレードコンポーネントを導入することで,強力でシンプルで効率的なベースラインを提案し,評価する。 TopiOCQA と OR-QuAC という2つの ODConvQA タスクの実験により,本手法が SotA 結果を改善するとともに,読み出し遅延を60%削減することを示した。
  論文  参考訳（メタデータ） (2023-10-23T08:48:14Z)
• RSVP: Customer Intent Detection via Agent Response Contrastive and Generative Pre-Training [16.183398769581075]
  RSVPはタスク指向の対話に特化した自己教師型フレームワークである。 エージェント応答を2段階的に事前訓練する。 実世界の2つのカスタマーサービスデータセットのベンチマーク結果は、RSVPが最先端のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2023-10-15T08:21:38Z)
• Personalized Predictive ASR for Latency Reduction in Voice Assistants [29.237198363254752]
  本稿では,部分的に観測された発話から全発話を予測し,予測された発話に基づいて応答をプリフェッチする予測自動音声認識を提案する。 内部音声アシスタントデータセットと公共SLURPデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-23T08:05:43Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Best Practices for 2-Body Pose Forecasting [58.661899246497896]
  我々は、人間のポーズ予測の進捗状況を概観し、最善を尽くす一対一の実践を詳細に評価する。 他の1人のプラクティスは2体に移行しないため、提案されているベストプラクティスは階層的なボディモデリングや注目に基づくインタラクションエンコーディングは含まない。 提案した2体ポーズによるベストプラクティス予測では,最新のExPIデータセットのパフォーマンスが21.9%向上した。
  論文  参考訳（メタデータ） (2023-04-12T10:46:23Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
  クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。 近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。 そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T03:28:15Z)
• Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
  製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。 このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。 コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
  論文  参考訳（メタデータ） (2020-03-13T11:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。