論文の概要: Method-Level Bug Severity Prediction using Source Code Metrics and LLMs
- arxiv url: http://arxiv.org/abs/2309.03044v1
- Date: Wed, 6 Sep 2023 14:38:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 08:54:11.859888
- Title: Method-Level Bug Severity Prediction using Source Code Metrics and LLMs
- Title（参考訳）: ソースコードとLLMを用いたメソッドレベルバグ重大度予測
- Authors: Ehsan Mashhadi, Hossein Ahmadvand, Hadi Hemmati
- Abstract要約: 本稿では,ソースコードのメトリクス,大言語モデル(LLM)を用いたソースコード表現,およびバグ重大度ラベルの予測におけるそれらの組み合わせについて検討する。
以上の結果から,決定木モデルとランダムフォレストモデルは,いくつかの評価指標に関して,他のモデルよりも優れていたことが示唆された。
CodeBERTの微調整により、いくつかの評価指標の29%-140%の範囲でバグの重大度予測が大幅に改善される。
- 参考スコア（独自算出の注目度）: 0.628122931748758
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the past couple of decades, significant research efforts are devoted to
the prediction of software bugs. However, most existing work in this domain
treats all bugs the same, which is not the case in practice. It is important
for a defect prediction method to estimate the severity of the identified bugs
so that the higher-severity ones get immediate attention. In this study, we
investigate source code metrics, source code representation using large
language models (LLMs), and their combination in predicting bug severity labels
of two prominent datasets. We leverage several source metrics at method-level
granularity to train eight different machine-learning models. Our results
suggest that Decision Tree and Random Forest models outperform other models
regarding our several evaluation metrics. We then use the pre-trained CodeBERT
LLM to study the source code representations' effectiveness in predicting bug
severity. CodeBERT finetuning improves the bug severity prediction results
significantly in the range of 29%-140% for several evaluation metrics, compared
to the best classic prediction model on source code metric. Finally, we
integrate source code metrics into CodeBERT as an additional input, using our
two proposed architectures, which both enhance the CodeBERT model
effectiveness.
- Abstract（参考訳）: 過去数十年、ソフトウェアバグの予測に多大な研究努力が注がれている。
しかし、このドメインの既存の作業の多くは、すべてのバグを同じ扱いをするが、実際にはそうではない。
欠陥予測手法では,特定されたバグの重大度を推定し,高い重大度がすぐに注目されるようにすることが重要である。
本研究では,大規模な言語モデル(LLM)を用いたソースコードメトリクス,ソースコード表現,および2つの顕著なデータセットのバグ重大度ラベルの予測におけるそれらの組み合わせについて検討する。
8つの異なる機械学習モデルをトレーニングするために、メソッドレベルの粒度で複数のソースメトリクスを利用する。
その結果、決定木とランダムフォレストモデルは、複数の評価指標について他のモデルよりも優れていることが示唆された。
次に、トレーニング済みのCodeBERT LLMを用いて、バグの重大度を予測するソースコード表現の有効性について検討する。
CodeBERTファインタニングは、ソースコードメトリクスの古典的予測モデルと比較して、いくつかの評価指標に対して29%-140%の範囲でバグの重大度予測結果を大幅に改善する。
最後に、CodeBERTモデルの有効性を高める2つのアーキテクチャを用いて、ソースコードメトリクスを追加入力としてCodeBERTに統合する。
関連論文リスト
- What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Enhanced Bug Prediction in JavaScript Programs with Hybrid Call-Graph Based Invocation Metrics [0.7099737083842057]
バグ予測は、欠陥を含む可能性のあるソフトウェアシステム内のソースコード要素を見つけることを目的としている。
本稿では,静的なソースコードメトリクスに基づく関数レベルのJavaScriptバグ予測モデルを提案する。
論文 参考訳（メタデータ） (2024-05-12T10:31:43Z) - Pre-training Code Representation with Semantic Flow Graph for Effective
Bug Localization [4.159296619915587]
セマンティックフローグラフ (Semantic Flow Graph, SFG) という, 有向多ラベル符号グラフの表現法を提案する。
そこで本手法は,バグローカライゼーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-08-24T13:25:17Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳（メタデータ） (2022-10-13T15:47:09Z) - Learning to predict test effectiveness [1.4213973379473652]
この記事では、テストがクラスをカバーできる範囲を、Coverageabilityと呼ばれる新しいメトリクスで予測する機械学習モデルを提供する。
各クラスで自動生成されるテストスイートのサイズとカバレッジの観点から,テストの有効性を評価する数学的モデルを提供する。
論文 参考訳（メタデータ） (2022-08-20T07:26:59Z) - An Empirical Study on Bug Severity Estimation using Source Code Metrics and Static Analysis [0.8621608193534838]
我々は、19のJavaオープンソースプロジェクトと異なる重度ラベルを持つ3,358のバグギーメソッドを調査した。
結果は、コードメトリクスがバグの多いコードを予測するのに有用であることを示しているが、バグの深刻度レベルを見積もることはできない。
当社の分類では、セキュリティバグがほとんどのケースで高い重大性を持っているのに対して、エッジ/バウンダリ障害は低い重大性を持っていることが示されています。
論文 参考訳（メタデータ） (2022-06-26T17:07:23Z) - DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。
モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。
ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
論文 参考訳（メタデータ） (2022-01-14T00:16:57Z) - Predicting the Number of Reported Bugs in a Software Repository [0.0]
本研究では,Long Short Term Memory Neural Networks (LSTM), Auto-Regressive Integrated moving average (ARIMA), Random Forest Regressorの8種類の時系列予測モデルについて検討した。
異なる性能指標に基づいて、各モデルの長期予測の品質を分析します。
評価は、大規模なオープンソースソフトウェアアプリケーションであるMozilla上で行われる。
論文 参考訳（メタデータ） (2021-04-24T19:06:35Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。