論文の概要: Method-Level Bug Severity Prediction using Source Code Metrics and LLMs

• arxiv url: http://arxiv.org/abs/2309.03044v1
• Date: Wed, 6 Sep 2023 14:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 08:54:11.859888
• Title: Method-Level Bug Severity Prediction using Source Code Metrics and LLMs
• Title（参考訳）: ソースコードとLLMを用いたメソッドレベルバグ重大度予測
• Authors: Ehsan Mashhadi, Hossein Ahmadvand, Hadi Hemmati
• Abstract要約: 本稿では,ソースコードのメトリクス,大言語モデル(LLM)を用いたソースコード表現,およびバグ重大度ラベルの予測におけるそれらの組み合わせについて検討する。 以上の結果から,決定木モデルとランダムフォレストモデルは,いくつかの評価指標に関して,他のモデルよりも優れていたことが示唆された。 CodeBERTの微調整により、いくつかの評価指標の29%-140%の範囲でバグの重大度予測が大幅に改善される。
• 参考スコア（独自算出の注目度）: 0.628122931748758
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the past couple of decades, significant research efforts are devoted to the prediction of software bugs. However, most existing work in this domain treats all bugs the same, which is not the case in practice. It is important for a defect prediction method to estimate the severity of the identified bugs so that the higher-severity ones get immediate attention. In this study, we investigate source code metrics, source code representation using large language models (LLMs), and their combination in predicting bug severity labels of two prominent datasets. We leverage several source metrics at method-level granularity to train eight different machine-learning models. Our results suggest that Decision Tree and Random Forest models outperform other models regarding our several evaluation metrics. We then use the pre-trained CodeBERT LLM to study the source code representations' effectiveness in predicting bug severity. CodeBERT finetuning improves the bug severity prediction results significantly in the range of 29%-140% for several evaluation metrics, compared to the best classic prediction model on source code metric. Finally, we integrate source code metrics into CodeBERT as an additional input, using our two proposed architectures, which both enhance the CodeBERT model effectiveness.
• Abstract（参考訳）: 過去数十年、ソフトウェアバグの予測に多大な研究努力が注がれている。 しかし、このドメインの既存の作業の多くは、すべてのバグを同じ扱いをするが、実際にはそうではない。 欠陥予測手法では,特定されたバグの重大度を推定し,高い重大度がすぐに注目されるようにすることが重要である。 本研究では,大規模な言語モデル(LLM)を用いたソースコードメトリクス,ソースコード表現,および2つの顕著なデータセットのバグ重大度ラベルの予測におけるそれらの組み合わせについて検討する。 8つの異なる機械学習モデルをトレーニングするために、メソッドレベルの粒度で複数のソースメトリクスを利用する。 その結果、決定木とランダムフォレストモデルは、複数の評価指標について他のモデルよりも優れていることが示唆された。 次に、トレーニング済みのCodeBERT LLMを用いて、バグの重大度を予測するソースコード表現の有効性について検討する。 CodeBERTファインタニングは、ソースコードメトリクスの古典的予測モデルと比較して、いくつかの評価指標に対して29%-140%の範囲でバグの重大度予測結果を大幅に改善する。 最後に、CodeBERTモデルの有効性を高める2つのアーキテクチャを用いて、ソースコードメトリクスを追加入力としてCodeBERTに統合する。

関連論文リスト

• Pre-training Code Representation with Semantic Flow Graph for Effective Bug Localization [4.159296619915587]
  セマンティックフローグラフ (Semantic Flow Graph, SFG) という, 有向多ラベル符号グラフの表現法を提案する。 そこで本手法は,バグローカライゼーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-08-24T13:25:17Z)
• Cross Version Defect Prediction with Class Dependency Embeddings [17.110933073074584]
  欠陥の予測にはクラス依存性ネットワーク(CDN)を使用し、静的コードメトリクスと組み合わせています。 本手法では,手動でメトリクスを構築することなくCDN情報を活用するために,ネットワーク埋め込み技術を用いている。
  論文  参考訳（メタデータ） (2022-12-29T18:24:39Z)
• A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
  サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。 我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
  論文  参考訳（メタデータ） (2022-10-13T15:47:09Z)
• Learning to predict test effectiveness [1.4213973379473652]
  この記事では、テストがクラスをカバーできる範囲を、Coverageabilityと呼ばれる新しいメトリクスで予測する機械学習モデルを提供する。 各クラスで自動生成されるテストスイートのサイズとカバレッジの観点から,テストの有効性を評価する数学的モデルを提供する。
  論文  参考訳（メタデータ） (2022-08-20T07:26:59Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
  本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。 モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。 ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
  論文  参考訳（メタデータ） (2022-01-14T00:16:57Z)
• Predicting the Number of Reported Bugs in a Software Repository [0.0]
  本研究では,Long Short Term Memory Neural Networks (LSTM), Auto-Regressive Integrated moving average (ARIMA), Random Forest Regressorの8種類の時系列予測モデルについて検討した。 異なる性能指標に基づいて、各モデルの長期予測の品質を分析します。 評価は、大規模なオープンソースソフトウェアアプリケーションであるMozilla上で行われる。
  論文  参考訳（メタデータ） (2021-04-24T19:06:35Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。