論文の概要: Who is the Real Hero? Measuring Developer Contribution via
Multi-dimensional Data Integration
- arxiv url: http://arxiv.org/abs/2308.08991v2
- Date: Thu, 31 Aug 2023 07:42:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 13:50:32.381612
- Title: Who is the Real Hero? Measuring Developer Contribution via
Multi-dimensional Data Integration
- Title（参考訳）: 本当のヒーローは誰だ?
多次元データ統合による開発者の貢献度測定
- Authors: Yuqiang Sun, Zhengzi Xu, Chengwei Liu, Yiran Zhang, Yang Liu
- Abstract要約: 開発者のコントリビューションを測定するための多次元情報融合に基づくアプローチであるCValueを提案する。
CValueは4次元のソースコードから構文情報と意味情報を抽出する。
プロジェクト内の各コミットに対するコントリビューションスコアを生成するために、情報をフューズする。
- 参考スコア（独自算出の注目度）: 8.735393610868435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Proper incentives are important for motivating developers in open-source
communities, which is crucial for maintaining the development of open-source
software healthy. To provide such incentives, an accurate and objective
developer contribution measurement method is needed. However, existing methods
rely heavily on manual peer review, lacking objectivity and transparency. The
metrics of some automated works about effort estimation use only syntax-level
or even text-level information, such as changed lines of code, which lack
robustness. Furthermore, some works about identifying core developers provide
only a qualitative understanding without a quantitative score or have some
project-specific parameters, which makes them not practical in real-world
projects. To this end, we propose CValue, a multidimensional information
fusion-based approach to measure developer contributions. CValue extracts both
syntax and semantic information from the source code changes in four
dimensions: modification amount, understandability, inter-function and
intra-function impact of modification. It fuses the information to produce the
contribution score for each of the commits in the projects. Experimental
results show that CValue outperforms other approaches by 19.59% on 10
real-world projects with manually labeled ground truth. We validated and proved
that the performance of CValue, which takes 83.39 seconds per commit, is
acceptable to be applied in real-world projects. Furthermore, we performed a
large-scale experiment on 174 projects and detected 2,282 developers having
inflated commits. Of these, 2,050 developers did not make any syntax
contribution; and 103 were identified as bots.
- Abstract（参考訳）: オープンソースコミュニティの開発者のモチベーションを高めるためには、適切なインセンティブが重要です。
このようなインセンティブを提供するには、正確で客観的な開発者貢献度測定方法が必要である。
しかし、既存の手法は手動によるピアレビューに大きく依存しており、客観性と透明性が欠如している。
労力見積に関するいくつかの自動作業のメトリクスは、堅牢性に欠けるコード行の変更など、構文レベルやテキストレベルの情報のみを使用する。
さらに、コア開発者を特定する作業の中には、定量的なスコアやプロジェクト固有のパラメータを持たない定性的な理解のみを提供するものもあり、現実のプロジェクトでは実用的ではない。
そこで本稿では,多次元情報融合を用いた開発者貢献度計測手法であるcvalueを提案する。
CValueは、修正量、理解可能性、機能間および機能内影響の4つの次元におけるソースコードの変更から、構文情報と意味情報を抽出する。
プロジェクト内の各コミットに対するコントリビューションスコアを生成するために、情報をフューズする。
実験の結果、CValueは他のアプローチよりも19.59%優れており、実際の10のプロジェクトでは手動で真理とラベル付けされている。
実世界のプロジェクトでは,コミットに83.39秒を要するCValueのパフォーマンスが適用可能であることを検証し,実証した。
さらに,174プロジェクトを対象に大規模実験を行い,2,282人の開発者がコミットを膨らませていることを確認した。
このうち、2,050人の開発者は一切構文への貢献をしなかった。
関連論文リスト
- Understanding Code Understandability Improvements in Code Reviews [79.16476505761582]
GitHub上のJavaオープンソースプロジェクトからの2,401のコードレビューコメントを分析した。
改善提案の83.9%が承認され、統合され、1%未満が後に復活した。
論文 参考訳（メタデータ） (2024-10-29T12:21:23Z) - Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Productivity Assessment of Neural Code Completion [4.821593904732654]
私たちは、GitHub Copilotのユーザに対して、生産性への影響について尋ね、直接測定可能なユーザデータの認識の反映を見つけようとしています。
提案された提案が受け入れられる確率は、コード内の完了の持続性に関するより具体的な指標よりも、開発者の生産性に対する認識を促進することが分かっています。
論文 参考訳（メタデータ） (2022-05-13T09:53:25Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳（メタデータ） (2022-03-02T19:57:32Z) - Automated Mapping of Vulnerability Advisories onto their Fix Commits in
Open Source Repositories [7.629717457706326]
実践経験と機械学習(ML)を組み合わせたアプローチを提案する。
アドバイザリから脆弱性に関する鍵情報を含むアドバイザリレコードを抽出する。
影響を受けるプロジェクトのソースコードリポジトリから、候補となる修正コミットのサブセットを取得する。
論文 参考訳（メタデータ） (2021-03-24T17:50:35Z) - The Mind Is a Powerful Place: How Showing Code Comprehensibility Metrics
Influences Code Understanding [10.644832702859484]
ソースコードの理解度を示す指標が,ソースコードの理解度を主観的に評価する上で,開発者を悩ませるかどうかを検討する。
その結果、理解度測定値の表示値は、開発者のコード理解度評価に大きく、かつ大きなアンカー効果があることがわかった。
論文 参考訳（メタデータ） (2020-12-16T14:27:45Z) - Representation of Developer Expertise in Open Source Software [12.583969739954526]
We use the World of Code infrastructure to extract the complete set of APIs in the file changed by the open source developer。
次に、API、開発者、プロジェクトのベクター表現にDoc2Vecの埋め込みを使用します。
これらの埋め込みがスキル空間の仮定トポロジを反映しているかどうかを評価する。
論文 参考訳（メタデータ） (2020-05-20T16:36:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。