論文の概要: Software Code Quality Measurement: Implications from Metric Distributions

• arxiv url: http://arxiv.org/abs/2307.12082v4
• Date: Tue, 16 Jan 2024 11:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 02:10:42.269898
• Title: Software Code Quality Measurement: Implications from Metric Distributions
• Title（参考訳）: ソフトウェアコードの品質測定: メトリクス分布からの影響
• Authors: Siyuan Jin, Mianmian Zhang, Yekai Guo, Yuejiang He, Ziyuan Li, Bichao Chen, Bing Zhu, and Yong Xia
• Abstract要約: 1) コード品質に一貫して影響を与える単調なメトリクス、2) コード品質と一貫した関係を持たない非単調なメトリクスである。 本研究は, コード品質の多次元的構成とその測定結果に寄与し, モノトニックおよび非モノトニックの両測定値に対する一貫した測定の実践的意味を提供する。
• 参考スコア（独自算出の注目度）: 6.110201315596897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software code quality is a construct with three dimensions: maintainability, reliability, and functionality. Although many firms have incorporated code quality metrics in their operations, evaluating these metrics still lacks consistent standards. We categorized distinct metrics into two types: 1) monotonic metrics that consistently influence code quality; and 2) non-monotonic metrics that lack a consistent relationship with code quality. To consistently evaluate them, we proposed a distribution-based method to get metric scores. Our empirical analysis includes 36,460 high-quality open-source software (OSS) repositories and their raw metrics from SonarQube and CK. The evaluated scores demonstrate great explainability on software adoption. Our work contributes to the multi-dimensional construct of code quality and its metric measurements, which provides practical implications for consistent measurements on both monotonic and non-monotonic metrics.
• Abstract（参考訳）: ソフトウェアコードの品質は、保守性、信頼性、機能という3次元の構成要素である。 多くの企業はコード品質メトリクスを運用に組み込んでいるが、これらのメトリクスの評価には一貫性のある基準が欠けている。 それぞれの指標を2つのタイプに分類した。 1) コード品質に一貫して影響を及ぼす単調なメトリクス 2) コード品質と一貫した関係を持たないモノトニックなメトリクス。 連続的に評価するために,分布に基づく評価法を提案した。 私たちの実証分析には、36,460の高品質なオープンソースソフトウェア(OSS)リポジトリと、SonarQubeとCKの生メトリクスが含まれています。 評価されたスコアは、ソフトウェア導入に関する大きな説明可能性を示しています。 本研究は, コード品質の多次元的構成とその測定結果に寄与し, モノトニックおよび非モノトニックの両測定値に対する一貫した測定の実践的意味を提供する。

関連論文リスト

• Evaluating Source Code Quality with Large Languagem Models: a comparative study [2.3204178451683264]
  本稿では,静的解析ツールとしてLarge Language Model (LLM) を用いて得られた結果について述べる。 GPT 3.5 TurboとGPT 4oの2種類のモデルを比較し,合計1,641クラスの分析を行った。 GPT 4o版では、低品質と評価されたコードに高い分類を割り当てることで、以前のモデルとSonarから切り離された結果が示されなかった。
  論文  参考訳（メタデータ） (2024-08-07T18:44:46Z)
• CodeScore-R: An Automated Robustness Metric for Assessing the FunctionalCorrectness of Code Synthesis [17.747095451792084]
  本稿では,コード合成機能を評価するために,CodeScore-Rと呼ばれるロバストな自動計測手法を提案する。 JavaとPythonのコード生成とマイグレーションのタスクでは、CodeScore-Rは他のメトリクスよりも優れています。
  論文  参考訳（メタデータ） (2024-06-11T02:51:17Z)
• Towards Understanding the Impact of Code Modifications on Software Quality Metrics [1.2277343096128712]
  本研究の目的は、コード修正がソフトウェアの品質指標に与える影響を評価し、解釈することである。 基礎となる仮説は、ソフトウェア品質のメトリクスに類似した変更を誘発するコード修正は、異なるクラスタにグループ化できる、というものである。 結果は、コード修正の異なるクラスタを明らかにし、それぞれに簡潔な記述が伴い、ソフトウェアの品質指標に対する全体的な影響を明らかにした。
  論文  参考訳（メタデータ） (2024-04-05T08:41:18Z)
• Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
  基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。 本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
  論文  参考訳（メタデータ） (2024-03-21T10:31:11Z)
• Free Open Source Communities Sustainability: Does It Make a Difference in Software Quality? [2.981092370528753]
  本研究は,サステナビリティの異なる側面がソフトウェア品質に与える影響を実証的に検討することを目的とする。 4つのカテゴリにわたる16のサステナビリティ指標をサンプリングし、217のOSSプロジェクトに適用した。
  論文  参考訳（メタデータ） (2024-02-10T09:37:44Z)
• On the Limitations of Reference-Free Evaluations of Generated Text [64.81682222169113]
  基準のないメトリクスは本質的にバイアスがあり、生成したテキストを評価する能力に制限があることを示す。 機械翻訳や要約といったタスクの進捗を計測するために使用するべきではない、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-22T22:12:06Z)
• The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
  ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。 古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
  論文  参考訳（メタデータ） (2022-08-31T01:13:46Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)
• Uncertainty Baselines: Benchmarks for Uncertainty & Robustness in Deep Learning [66.59455427102152]
  不確実性ベースライン(Uncertainty Baselines): 各種タスクにおける標準および最先端のディープラーニング手法の高品質な実装。 各ベースラインは、簡単に再利用可能で拡張可能なコンポーネントを備えた、自己完結型の実験パイプラインである。 モデルチェックポイント、Pythonノートブックとしての実験出力、結果を比較するためのリーダーボードを提供する。
  論文  参考訳（メタデータ） (2021-06-07T23:57:32Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。