論文の概要: Variance of ML-based software fault predictors: are we really improving fault prediction?

• arxiv url: http://arxiv.org/abs/2310.17264v1
• Date: Thu, 26 Oct 2023 09:31:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 21:13:12.431151
• Title: Variance of ML-based software fault predictors: are we really improving fault prediction?
• Title（参考訳）: MLベースのソフトウェア障害予測器のバリエーション: 障害予測は本当に改善されているか?
• Authors: Xhulja Shahini, Domenic Bubel, Andreas Metzger
• Abstract要約: 我々は、最先端の故障予測手法のばらつきを実験的に分析する。 我々は,クラス毎の精度測定値において最大10.10%のばらつきを観測した。
• 参考スコア（独自算出の注目度）: 0.3222802562733786
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Software quality assurance activities become increasingly difficult as software systems become more and more complex and continuously grow in size. Moreover, testing becomes even more expensive when dealing with large-scale systems. Thus, to effectively allocate quality assurance resources, researchers have proposed fault prediction (FP) which utilizes machine learning (ML) to predict fault-prone code areas. However, ML algorithms typically make use of stochastic elements to increase the prediction models' generalizability and efficiency of the training process. These stochastic elements, also known as nondeterminism-introducing (NI) factors, lead to variance in the training process and as a result, lead to variance in prediction accuracy and training time. This variance poses a challenge for reproducibility in research. More importantly, while fault prediction models may have shown good performance in the lab (e.g., often-times involving multiple runs and averaging outcomes), high variance of results can pose the risk that these models show low performance when applied in practice. In this work, we experimentally analyze the variance of a state-of-the-art fault prediction approach. Our experimental results indicate that NI factors can indeed cause considerable variance in the fault prediction models' accuracy. We observed a maximum variance of 10.10% in terms of the per-class accuracy metric. We thus, also discuss how to deal with such variance.
• Abstract（参考訳）: ソフトウェアシステムがますます複雑になり、サイズが継続的に大きくなるにつれて、ソフトウェアの品質保証活動はますます難しくなっています。 さらに、大規模なシステムを扱う場合、テストはさらに高価になる。 そこで研究者らは,品質保証リソースを効果的に割り当てるために,機械学習(ml)を用いた故障予測(fp)を提案する。 しかし、MLアルゴリズムは通常、予測モデルの一般化性とトレーニングプロセスの効率を高めるために確率的要素を利用する。 これらの確率的要素は、非決定論(nondeterminism-introducing (NI) factor)としても知られ、トレーニングプロセスにばらつきをもたらし、結果として予測精度とトレーニング時間にばらつきをもたらす。 この分散は、研究における再現性への挑戦である。 さらに重要なことは、故障予測モデルが実験室で良いパフォーマンスを示し(例えば、複数の実行と平均的な結果を含むことが多い)、その結果のばらつきは、これらのモデルが実際に適用された場合、低いパフォーマンスを示すリスクを生じさせる。 本研究では,最先端故障予測手法のばらつきを実験的に解析する。 実験結果から, NI因子が断層予測モデルの精度にかなりのばらつきをもたらすことが示唆された。 クラスごとの精度測定値の最大分散は10.10%であった。 したがって、そのような分散を扱う方法についても議論する。

関連論文リスト

• Evaluation of uncertainty estimations for Gaussian process regression based machine learning interatomic potentials [0.0]
  機械学習の原子間ポテンシャルの不確実性推定は、導入した追加モデルエラーの定量化に不可欠である。 我々は、クーロンおよびSOAP表現を持つGPRモデルを、ポテンシャルエネルギー表面と分子の励起エネルギーを予測する入力として考える。 我々は,GPRの分散とアンサンブルに基づく不確かさが誤差とどのように関係しているか,また,固定された構成空間から最も不確実なサンプルを選択することによりモデル性能が向上するかを評価する。
  論文  参考訳（メタデータ） (2024-10-27T10:06:09Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Hessian-based toolbox for reliable and interpretable machine learning in physics [58.720142291102135]
  本稿では,モデルアーキテクチャの解釈可能性と信頼性,外挿を行うためのツールボックスを提案する。 与えられたテストポイントでの予測に対する入力データの影響、モデル予測の不確実性の推定、およびモデル予測の不可知スコアを提供する。 我々の研究は、物理学やより一般的には科学に適用されたMLにおける解釈可能性と信頼性の方法の体系的利用への道を開く。
  論文  参考訳（メタデータ） (2021-08-04T16:32:59Z)
• Uncertainty Prediction for Machine Learning Models of Material Properties [0.0]
  物質特性のAIベースの予測の不確実性は、物質科学におけるAIアプリケーションの成功と信頼性にとって非常に重要である。 このような個人的不確実性を得るための3つの異なるアプローチを比較し、それらを12のML物理特性で検証する。
  論文  参考訳（メタデータ） (2021-07-16T16:33:55Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• A comprehensive study on the prediction reliability of graph neural networks for virtual screening [0.0]
  本稿では,モデルアーキテクチャ,正規化手法,損失関数が分類結果の予測性能および信頼性に与える影響について検討する。 その結果,高い成功率を達成するためには,正則化と推論手法の正しい選択が重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2020-03-17T10:13:31Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。