論文の概要: A Quantitative Analysis of Open Source Software Code Quality: Insights
from Metric Distributions
- arxiv url: http://arxiv.org/abs/2307.12082v3
- Date: Sun, 1 Oct 2023 02:42:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 16:44:04.117242
- Title: A Quantitative Analysis of Open Source Software Code Quality: Insights
from Metric Distributions
- Title（参考訳）: オープンソースソフトウェアコード品質の定量的分析:メトリクス分布からの考察
- Authors: Siyuan Jin, Mianmian Zhang, Yekai Guo, Yuejiang He, Ziyuan Li, Bichao
Chen, Bing Zhu, and Yong Xia
- Abstract要約: コード品質は、メンテナンス性、信頼性、機能性の3つの側面を持つオープンソースソフトウェア(OSS)における構成である。
1) コード品質に一貫して影響を及ぼす単調なメトリクス、2) 評価に一貫した関係を持たない非単調なメトリクスである。
- 参考スコア（独自算出の注目度）: 6.110201315596897
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code quality is a construct in open-source software (OSS) with three
dimensions: maintainability, reliability, and functionality. We identify 20
distinct metrics and categorize them into two types: 1) monotonic metrics that
consistently influence code quality; and 2) non-monotonic metrics that lack a
consistent relationship for evaluation. We propose a distribution-based method
to evaluate both types, which demonstrates great explainability of OSS
adoption. Our empirical analysis includes more than 36,460 OSS repositories and
their raw metrics from SonarQube and CK. Our work contributes to the
multi-dimensional construct of code quality and its metric measurements.
- Abstract（参考訳）: コード品質は、保守性、信頼性、機能という3次元のオープンソースソフトウェア(oss)の構成物である。
20の異なるメトリクスを特定し、それらを2つのタイプに分類します。
1) コード品質に一貫して影響を及ぼす単調なメトリクス
2) 評価に一貫した関係を持たない非単調な指標。
本稿では,OSSの導入可能性を示す分布型評価手法を提案する。
私たちの実証分析には、36,460のOSSリポジトリと、SonarQubeとCKの生メトリクスが含まれています。
本研究は,コード品質の多次元的構成とその測定に寄与する。
関連論文リスト
- Evaluating Source Code Quality with Large Languagem Models: a comparative study [2.3204178451683264]
本稿では,静的解析ツールとしてLarge Language Model (LLM) を用いて得られた結果について述べる。
GPT 3.5 TurboとGPT 4oの2種類のモデルを比較し,合計1,641クラスの分析を行った。
GPT 4o版では、低品質と評価されたコードに高い分類を割り当てることで、以前のモデルとSonarから切り離された結果が示されなかった。
論文 参考訳（メタデータ） (2024-08-07T18:44:46Z) - CodeScore-R: An Automated Robustness Metric for Assessing the FunctionalCorrectness of Code Synthesis [17.747095451792084]
本稿では,コード合成機能を評価するために,CodeScore-Rと呼ばれるロバストな自動計測手法を提案する。
JavaとPythonのコード生成とマイグレーションのタスクでは、CodeScore-Rは他のメトリクスよりも優れています。
論文 参考訳（メタデータ） (2024-06-11T02:51:17Z) - Towards Understanding the Impact of Code Modifications on Software Quality Metrics [1.2277343096128712]
本研究の目的は、コード修正がソフトウェアの品質指標に与える影響を評価し、解釈することである。
基礎となる仮説は、ソフトウェア品質のメトリクスに類似した変更を誘発するコード修正は、異なるクラスタにグループ化できる、というものである。
結果は、コード修正の異なるクラスタを明らかにし、それぞれに簡潔な記述が伴い、ソフトウェアの品質指標に対する全体的な影響を明らかにした。
論文 参考訳（メタデータ） (2024-04-05T08:41:18Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳（メタデータ） (2024-03-21T10:31:11Z) - Free Open Source Communities Sustainability: Does It Make a Difference
in Software Quality? [2.981092370528753]
本研究は,サステナビリティの異なる側面がソフトウェア品質に与える影響を実証的に検討することを目的とする。
4つのカテゴリにわたる16のサステナビリティ指標をサンプリングし、217のOSSプロジェクトに適用した。
論文 参考訳（メタデータ） (2024-02-10T09:37:44Z) - On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。
機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
論文 参考訳（メタデータ） (2022-10-22T22:12:06Z) - The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。
古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
論文 参考訳（メタデータ） (2022-08-31T01:13:46Z) - QAFactEval: Improved QA-Based Factual Consistency Evaluation for
Summarization [116.56171113972944]
QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。
提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-12-16T00:38:35Z) - Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep
Learning [66.59455427102152]
不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。
各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。
モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
論文 参考訳（メタデータ） (2021-06-07T23:57:32Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。