論文の概要: Leveraging the Crowd for Dependency Management: An Empirical Study on the Dependabot Compatibility Score
- arxiv url: http://arxiv.org/abs/2403.09012v1
- Date: Thu, 14 Mar 2024 00:26:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 22:17:16.866286
- Title: Leveraging the Crowd for Dependency Management: An Empirical Study on the Dependabot Compatibility Score
- Title（参考訳）: 依存性管理のための群衆の活用 - Dependabot互換性スコアに関する実証的研究
- Authors: Benjamin Rombaut, Filipe R. Cogo, Ahmed E. Hassan,
- Abstract要約: クライアントパッケージが依存性の更新を受ける際のリスクを評価するのに役立つように、互換性スコアの有効性について検討する。
群衆からのデータ不足のため,依存関係更新の83%については,互換性スコアを計算できないことがわかった。
本稿では,群衆からのインプットを増幅する指標を提案し,それらの指標がクライアントパッケージによる更新成功の受け入れを予測できることを示す。
- 参考スコア（独自算出の注目度）: 3.6840775431698893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dependabot, a popular dependency management tool, includes a compatibility score feature that helps client packages assess the risk of accepting a dependency update by leveraging knowledge from "the crowd". For each dependency update, Dependabot calculates this compatibility score as the proportion of successful updates performed by other client packages that use the same provider package as a dependency. In this paper, we study the efficacy of the compatibility score to help client packages assess the risks involved with accepting a dependency update. We analyze 579,206 pull requests opened by Dependabot to update a dependency, along with 618,045 compatibility score records calculated by Dependabot. We find that a compatibility score cannot be calculated for 83% of the dependency updates due to the lack of data from the crowd. Yet, the vast majority of the scores that can be calculated have a small confidence interval and are based on low-quality data, suggesting that client packages should have additional angles to evaluate the risk of an update and the trustworthiness of the compatibility score. To overcome these limitations, we propose metrics that amplify the input from the crowd and demonstrate the ability of those metrics to predict the acceptance of a successful update by client packages. We also demonstrate that historical update metrics from client packages can be used to provide a more personalized compatibility score. Based on our findings, we argue that, when leveraging the crowd, dependency management bots should include a confidence interval to help calibrate the trust clients can place in the compatibility score, and consider the quality of tests that exercise candidate updates.
- Abstract（参考訳）: 人気のある依存性管理ツールであるDependabotには、互換性スコア機能が含まれており、"群衆"からの知識を活用することで、クライアントパッケージが依存性更新を受け入れるリスクを評価するのに役立つ。
依存関係の更新ごとに、Dependabotはこの互換性スコアを、同じプロバイダパッケージを依存性として使用する他のクライアントパッケージによって実行される更新の成功率として計算する。
本稿では,クライアントパッケージが依存性の更新を受ける際のリスクを評価する上で,互換性スコアの有効性について検討する。
Dependabotが開いた579,206のプルリクエストを分析し、Dependabotが計算した618,045の互換性スコアを更新します。
群衆からのデータ不足のため,依存関係更新の83%については,互換性スコアを計算できないことがわかった。
しかし、計算可能なスコアの大部分は、信頼性間隔が小さく、低品質のデータに基づいており、クライアントパッケージには、更新のリスクと互換性スコアの信頼性を評価するための追加のアングルが必要であることを示唆している。
これらの制限を克服するために、群衆からのインプットを増幅するメトリクスを提案し、それらのメトリクスがクライアントパッケージによる更新成功の受け入れを予測する能力を示す。
また、クライアントパッケージからの履歴更新メトリクスを使用して、よりパーソナライズされた互換性スコアを提供することも示しています。
以上の結果から,信頼度を調整するための信頼区間を含む依存性管理ボットを群集に活用する場合には,信頼度を調整し,候補更新を行うテストの品質を考慮すべきである,と論じる。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - FamiCom: Further Demystifying Prompts for Language Models with Task-Agnostic Performance Estimation [73.454943870226]
言語モデルは、コンテキスト内学習能力に優れています。
本稿では,タスク非依存のパフォーマンス推定のためのより包括的な尺度であるFamiComを提案する。
論文 参考訳（メタデータ） (2024-06-17T06:14:55Z) - See to Believe: Using Visualization To Motivate Updating Third-party Dependencies [1.7914660044009358]
サードパーティの依存関係を使用したアプリケーションによって導入されたセキュリティ脆弱性が増加している。
開発者はライブラリのアップデートに注意を払っており、脆弱性の修正にも注意している。
本稿では、依存性グラフ可視化(DGV)アプローチが、開発者が更新を動機付けると仮定する。
論文 参考訳（メタデータ） (2024-05-15T03:57:27Z) - Trust Driven On-Demand Scheme for Client Deployment in Federated Learning [39.9947471801304]
Trusted-On-Demand-FL"は、サーバと資格のあるクライアントのプールの間の信頼関係を確立する。
シミュレーションでは,遺伝的アルゴリズムを応用した最適化モデルをデプロイし,連続的なユーザ行動データセットに頼っている。
論文 参考訳（メタデータ） (2024-05-01T08:50:08Z) - Characterizing Dependency Update Practice of NPM, PyPI and Cargo Packages [7.739923421146855]
依存関係を最新に保つことで、時代遅れで脆弱な依存関係によるソフトウェアサプライチェーンの攻撃が防止される。
本稿では,依存関係の更新度と脆弱性のある依存関係の更新度を測定するための2つの更新指標を提案する。
我々は,2.9Mパッケージ,66.8Mパッケージバージョン,26.8Mユニークなパッケージ依存性関係を用いた大規模更新メトリクスの実証的研究を行った。
論文 参考訳（メタデータ） (2024-03-26T05:01:53Z) - Towards Fair, Robust and Efficient Client Contribution Evaluation in
Federated Learning [16.543724155324938]
FRECA(Fair, Robust, Efficient Client Assessment)と呼ばれる新しい手法を導入する。
FRECAはFedTruthというフレームワークを使用して、グローバルモデルの真実の更新を見積もり、すべてのクライアントからのコントリビューションのバランスをとり、悪意のあるクライアントからの影響をフィルタリングする。
実験の結果,FRECAはクライアントのコントリビューションをロバストな方法で正確かつ効率的に定量化できることがわかった。
論文 参考訳（メタデータ） (2024-02-06T21:07:12Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳（メタデータ） (2022-05-22T15:13:23Z) - REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation
Metrics for Open-domain Dialog Generation [63.46331073232526]
オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。
予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。
本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
論文 参考訳（メタデータ） (2021-05-30T10:04:13Z) - Surveys without Questions: A Reinforcement Learning Approach [12.044303977550229]
我々は、クリックストリームデータからプロキシレーティングを抽出するために、強化学習(RL)に基づくアプローチを開発する。
1つは顧客レベルであり、もう1つは顧客間でのクリックアクションの集計レベルである。
論文 参考訳（メタデータ） (2020-06-11T10:41:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。