論文の概要: Ghost Echoes Revealed: Benchmarking Maintainability Metrics and Machine Learning Predictions Against Human Assessments
- arxiv url: http://arxiv.org/abs/2408.10754v1
- Date: Tue, 20 Aug 2024 11:37:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 13:55:03.951824
- Title: Ghost Echoes Revealed: Benchmarking Maintainability Metrics and Machine Learning Predictions Against Human Assessments
- Title（参考訳）: ゴーストエコー:人間の評価に対する保守性メトリクスと機械学習予測のベンチマーク
- Authors: Markus Borg, Marwa Ezzouhri, Adam Tornhill,
- Abstract要約: この研究は、State-of-the-Art (SotA) ML、SonarQube's Maintainability Rating、CodeScene's Code Health、Microsoft's Maintainability Indexなど、いくつかの保守性予測アプローチをベンチマークする。
結果は、CodeSceneがSotA MLの精度と一致し、平均的な人間専門家を上回っていることを示している。
- 参考スコア（独自算出の注目度）: 6.031345629422313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As generative AI is expected to increase global code volumes, the importance of maintainability from a human perspective will become even greater. Various methods have been developed to identify the most important maintainability issues, including aggregated metrics and advanced Machine Learning (ML) models. This study benchmarks several maintainability prediction approaches, including State-of-the-Art (SotA) ML, SonarQube's Maintainability Rating, CodeScene's Code Health, and Microsoft's Maintainability Index. Our results indicate that CodeScene matches the accuracy of SotA ML and outperforms the average human expert. Importantly, unlike SotA ML, CodeScene also provides end users with actionable code smell details to remedy identified issues. Finally, caution is advised with SonarQube due to its tendency to generate many false positives. Unfortunately, our findings call into question the validity of previous studies that solely relied on SonarQube output for establishing ground truth labels. To improve reliability in future maintainability and technical debt studies, we recommend employing more accurate metrics. Moreover, reevaluating previous findings with Code Health would mitigate this revealed validity threat.
- Abstract（参考訳）: 生成AIがグローバルコード量を増やすことが期待されているため、人間の視点による保守性の重要性はさらに高くなるだろう。
集約されたメトリクスや高度な機械学習(ML)モデルなど、最も重要な保守性の問題を特定するために、さまざまな方法が開発されている。
この研究は、State-of-the-Art (SotA) ML、SonarQube's Maintainability Rating、CodeScene's Code Health、Microsoft's Maintainability Indexなど、いくつかの保守性予測アプローチをベンチマークする。
以上の結果から,CodeScene は SotA ML の精度と一致し,平均的人間専門家よりも優れていたことが示唆された。
重要な点として、SotA MLとは異なり、CodeSceneはエンドユーザに、特定された問題を治療するための実行可能なコード臭いの詳細を提供する。
最後に、多くの偽陽性を発生させる傾向にあるため、SonarQubeには注意が必要である。
残念なことに,本研究では,SonarQubeのアウトプットにのみ依存した過去の研究の有効性を疑問視する。
将来の保守性と技術的負債研究の信頼性を高めるため、より正確なメトリクスを採用することを推奨する。
さらに、Code Healthによる以前の発見を再評価することで、この明らかな妥当性の脅威が軽減される。
関連論文リスト
- Better Python Programming for all: With the focus on Maintainability [5.669063174637433]
本研究では,Large Language Models (LLM) が生成するコードの保守性向上を目的とした。
私たちのアプローチでは、モデルをトレーニングし、評価するために特別に設計されたデータセットを使用します。
LLMを微調整してコードの保守性を優先順位付けした後、我々の評価は、このモデルがコードの保守性標準を大幅に改善することを示している。
論文 参考訳（メタデータ） (2024-08-17T08:14:22Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化(英: Uncertainty Quantification、UQ)は、機械学習(ML)アプリケーションにおいて重要なコンポーネントである。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、9つのタスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も有望なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z) - Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。
我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。
我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
論文 参考訳（メタデータ） (2024-04-08T17:18:04Z) - Code Revert Prediction with Graph Neural Networks: A Case Study at J.P. Morgan Chase [10.961209762486684]
コードリバース予測は、コード変更がソフトウェア開発で逆転またはロールバックされる可能性を予測または予測することを目的としている。
コード欠陥検出の以前の方法は、独立した機能に依存していたが、コードスクリプト間の関係を無視していた。
本稿では,コードインポートグラフとコード特徴を統合した,コード逆転予測のための系統的研究について述べる。
論文 参考訳（メタデータ） (2024-03-14T15:54:29Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z) - Method-Level Bug Severity Prediction using Source Code Metrics and LLMs [0.628122931748758]
本稿では,ソースコードのメトリクス,大言語モデル(LLM)を用いたソースコード表現,およびバグ重大度ラベルの予測におけるそれらの組み合わせについて検討する。
以上の結果から,決定木モデルとランダムフォレストモデルは,いくつかの評価指標に関して,他のモデルよりも優れていたことが示唆された。
CodeBERTの微調整により、いくつかの評価指標の29%-140%の範囲でバグの重大度予測が大幅に改善される。
論文 参考訳（メタデータ） (2023-09-06T14:38:07Z) - ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。
ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。
ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
論文 参考訳（メタデータ） (2022-12-20T14:11:31Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z) - Can Current Explainability Help Provide References in Clinical Notes to
Support Humans Annotate Medical Codes? [53.45585591262433]
本稿では、注意スコアに基づくxRAC-ATTNと、モデルに依存しない知識蒸留に基づくxRAC-KDの2つのアプローチについて説明する。
我々は,xRAC-ATTNが強調した支持エビデンステキストが,xRAC-KDよりも高品質であるのに対して,xRAC-KDは本番環境において潜在的に有利であることを示した。
論文 参考訳（メタデータ） (2022-10-28T04:06:07Z) - An Empirical Study on Bug Severity Estimation using Source Code Metrics and Static Analysis [0.8621608193534838]
我々は、19のJavaオープンソースプロジェクトと異なる重度ラベルを持つ3,358のバグギーメソッドを調査した。
結果は、コードメトリクスがバグの多いコードを予測するのに有用であることを示しているが、バグの深刻度レベルを見積もることはできない。
当社の分類では、セキュリティバグがほとんどのケースで高い重大性を持っているのに対して、エッジ/バウンダリ障害は低い重大性を持っていることが示されています。
論文 参考訳（メタデータ） (2022-06-26T17:07:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。