論文の概要: On the Need of Removing Last Releases of Data When Using or Validating
Defect Prediction Models
- arxiv url: http://arxiv.org/abs/2003.14376v2
- Date: Tue, 25 May 2021 07:28:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 02:01:51.449089
- Title: On the Need of Removing Last Releases of Data When Using or Validating
Defect Prediction Models
- Title(参考訳): 欠陥予測モデルの使用・検証における最終リリースの削除の必要性について
- Authors: Aalok Ahluwalia, Massimiliano Di Penta, Davide Falessi
- Abstract要約: 「無視」は休眠欠陥にのみ影響される、そのようなクラスからなる騒音である。
我々は、4000以上のバグと、Apacheエコシステムの19のオープンソースプロジェクトの600リリースからのデータに基づいて、15の機械学習欠陥予測分類器の精度を分析します。
- 参考スコア(独自算出の注目度): 9.927996761290132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To develop and train defect prediction models, researchers rely on datasets
in which a defect is attributed to an artifact, e.g., a class of a given
release. However, the creation of such datasets is far from being perfect. It
can happen that a defect is discovered several releases after its introduction:
this phenomenon has been called "dormant defects". This means that, if we
observe today the status of a class in its current version, it can be
considered as defect-free while this is not the case. We call "snoring" the
noise consisting of such classes, affected by dormant defects only. We
conjecture that the presence of snoring negatively impacts the classifiers'
accuracy and their evaluation. Moreover, earlier releases likely contain more
snoring classes than older releases, thus, removing the most recent releases
from a dataset could reduce the snoring effect and improve the accuracy of
classifiers. In this paper we investigate the impact of the snoring noise on
classifiers' accuracy and their evaluation, and the effectiveness of a possible
countermeasure consisting in removing the last releases of data. We analyze the
accuracy of 15 machine learning defect prediction classifiers on data from more
than 4,000 bugs and 600 releases of 19 open source projects from the Apache
ecosystem. Our results show that, on average across projects: (i) the presence
of snoring decreases the recall of defect prediction classifiers; (ii)
evaluations affected by snoring are likely unable to identify the best
classifiers, and (iii) removing data from recent releases helps to
significantly improve the accuracy of the classifiers. On summary, this paper
provides insights on how to create a software defect dataset by mitigating the
effect of snoring.
- Abstract(参考訳): 欠陥予測モデルの開発とトレーニングのために、研究者は、欠陥が特定のリリースのクラスなどのアーティファクトに起因するデータセットに依存している。
しかし、そのようなデータセットの作成は完璧とは程遠い。
この現象は「ドーマント欠陥(dormant defects)」と呼ばれてきた。
これはつまり、現在のバージョンでクラスの状態を観察している場合、これは欠陥のないものとみなすことができるが、そうではない。
このようなクラスからなるノイズをsnoringと呼び、休眠欠陥のみに影響される。
我々は,スノーディングの存在が分類器の精度と評価に悪影響を及ぼすと推測する。
さらに、以前のリリースには古いリリースよりもスノーリングクラスが含まれている可能性が高いため、データセットから最新のリリースを削除することで、スノーニング効果が減少し、分類器の精度が向上する可能性がある。
本稿では,スノーリングノイズが分類器の精度および評価に及ぼす影響と,データの最後のリリースを除去することによる対策の有効性について検討する。
我々は、4000以上のバグと、Apacheエコシステムの19のオープンソースプロジェクトの600リリースからのデータに基づいて、15の機械学習欠陥予測分類器の精度を分析します。
私たちの結果は、プロジェクト全体で平均して
(i)いびきの有無は、欠陥予測分類器のリコールを減少させる。
(ii)いびきの影響を受ける評価は、最良の分類器を識別できない可能性が高く、
三 最新のリリースからデータを削除することは、分類器の精度を著しく向上させる。
まとめると、この論文はスヌーリングの効果を緩和してソフトウェア欠陥データセットを作成する方法に関する洞察を提供する。
関連論文リスト
- Wafer Map Defect Classification Using Autoencoder-Based Data Augmentation and Convolutional Neural Network [4.8748194765816955]
本研究では、自己エンコーダに基づくデータ拡張技術と畳み込みニューラルネットワーク(CNN)を組み合わせた新しい手法を提案する。
提案手法は,ランダムフォレスト,SVM,ロジスティック回帰をそれぞれ19%,21%,27%以上,98.56%の分類精度を達成している。
論文 参考訳(メタデータ) (2024-11-17T10:19:54Z) - Reproducible Machine Learning-based Voice Pathology Detection: Introducing the Pitch Difference Feature [1.1455937444848385]
本稿では,音声病理診断における現代的実践の徹底的な研究から得られた,ロバストな特徴セットを提案する。
K-Means Synthetic Minority Over-Sampling Technique(K-Means Synthetic Over-Sampling Technique)アルゴリズムを用いて,Sarbr"ucken Voice Database(SVD)のデータを含むこの機能セットを組み合わせる。
提案手法は,音声病理診断における非重み付き平均リコールによって測定された最先端の性能を達成している。
論文 参考訳(メタデータ) (2024-10-14T14:17:52Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳(メタデータ) (2024-07-23T20:34:23Z) - Diffusion-based Image Generation for In-distribution Data Augmentation in Surface Defect Detection [8.93281936150572]
産業シナリオにおいて拡散モデルを用いてデータ拡張の手順を改善することができることを示す。
そこで本研究では,アウト・オブ・ディストリビューションとイン・ディストリビューション・サンプルを混合したデータ拡張手法を提案する。
論文 参考訳(メタデータ) (2024-06-01T17:09:18Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Uncertainty-Aware Learning Against Label Noise on Imbalanced Datasets [23.4536532321199]
不整合データセットのラベルノイズを処理するための不確かさを意識したラベル補正フレームワークを提案する。
本研究では,不均衡なデータセットのラベルノイズを処理するために,不確かさを意識したラベル補正フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-12T11:35:55Z) - The Impact of Using Regression Models to Build Defect Classifiers [13.840006058766766]
継続的欠陥数を欠陥クラスと非欠陥クラスに分類することは、よくあるプラクティスである。
両手法を用いて構築した欠陥分類器の性能と解釈を比較した。
論文 参考訳(メタデータ) (2022-02-12T22:12:55Z) - Is the Performance of My Deep Network Too Good to Be True? A Direct
Approach to Estimating the Bayes Error in Binary Classification [86.32752788233913]
分類問題において、ベイズ誤差は、最先端の性能を持つ分類器を評価するための基準として用いられる。
我々はベイズ誤差推定器を提案する。そこでは,クラスの不確かさを示すラベルの平均値のみを評価できる。
我々の柔軟なアプローチは、弱い教師付きデータであってもベイズ誤差を推定できる。
論文 参考訳(メタデータ) (2022-02-01T13:22:26Z) - SLA$^2$P: Self-supervised Anomaly Detection with Adversarial
Perturbation [77.71161225100927]
異常検出は、機械学習の基本的な問題であるが、難しい問題である。
本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
論文 参考訳(メタデータ) (2021-11-25T03:53:43Z) - Continual Learning for Fake Audio Detection [62.54860236190694]
本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。
ASVspoof 2019データセットで実験が行われる。
論文 参考訳(メタデータ) (2021-04-15T07:57:05Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳(メタデータ) (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。