論文の概要: Detecting Concept Drift for the reliability prediction of Software
Defects using Instance Interpretation
- arxiv url: http://arxiv.org/abs/2305.16323v1
- Date: Sat, 6 May 2023 07:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-04 12:05:28.684798
- Title: Detecting Concept Drift for the reliability prediction of Software
Defects using Instance Interpretation
- Title（参考訳）: インスタンス解釈を用いたソフトウェア欠陥の信頼性予測のための概念ドリフト検出
- Authors: Zeynab Chitsazian, Saeed Sedighian Kashi, Amin Nikanjam
- Abstract要約: コンセプトドリフト(CD)は、ソフトウェア開発プロセスの変化、ソフトウェアの複雑さ、ユーザーの振る舞いの変化によって起こりうる。
本研究の目的は,CD点検出を用いた信頼度の高いJIT-SDPモデルの構築である。
- 参考スコア（独自算出の注目度）: 4.039245878626346
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In the context of Just-In-Time Software Defect Prediction (JIT-SDP), Concept
drift (CD) can occur due to changes in the software development process, the
complexity of the software, or changes in user behavior that may affect the
stability of the JIT-SDP model over time. Additionally, the challenge of class
imbalance in JIT-SDP data poses a potential risk to the accuracy of CD
detection methods if rebalancing is implemented. This issue has not been
explored to the best of our knowledge. Furthermore, methods to check the
stability of JIT-SDP models over time by considering labeled evaluation data
have been proposed. However, it should be noted that future data labels may not
always be available promptly. We aim to develop a reliable JIT-SDP model using
CD point detection directly by identifying changes in the interpretation of
unlabeled simplified and resampled data. To evaluate our approach, we first
obtained baseline methods based on model performance monitoring to identify CD
points on labeled data. We then compared the output of the proposed methods
with baseline methods based on performance monitoring of threshold-dependent
and threshold-independent criteria using well-known performance measures in CD
detection methods, such as accuracy, MDR, MTD, MTFA, and MTR. We also utilize
the Friedman statistical test to assess the effectiveness of our approach. As a
result, our proposed methods show higher compatibility with baseline methods
based on threshold-independent criteria when applied to rebalanced data, and
with baseline methods based on threshold-dependent criteria when applied to
simple data.
- Abstract（参考訳）: Just-In-Time Software Defect Prediction (JIT-SDP)の文脈では、概念ドリフト(CD)はソフトウェア開発プロセスの変化、ソフトウェアの複雑さ、あるいはJIT-SDPモデルの安定性に時間とともに影響を及ぼす可能性のあるユーザの振る舞いの変化によって起こる。
さらに、JIT-SDPデータにおけるクラス不均衡の課題は、再バランスが実施されればCD検出方法の精度に潜在的なリスクをもたらす。
この問題は我々の知る限りでは探求されていない。
さらに,ラベル付き評価データを考慮したJIT-SDPモデルの安定性の検証手法も提案されている。
ただし、将来的なデータラベルは、必ずしもすぐに利用できるようになるとは限らない。
本研究の目的は,CD点検出を用いた信頼度の高いJIT-SDPモデルの構築である。
提案手法を評価するため,まずモデル性能監視に基づくベースライン手法を用いてラベル付きデータ上のCD点の同定を行った。
次に,提案手法の出力を,精度,MDR,MTD,MTFA,MTRなどのCD検出手法において,しきい値依存およびしきい値非依存の基準値のパフォーマンス監視に基づくベースライン手法と比較した。
また,本手法の有効性を評価するためにフリードマン統計試験を用いた。
提案手法は,再バランスデータに適用した場合の閾値非依存基準に基づくベースライン法と,簡単なデータに適用する場合の閾値依存基準に基づくベースライン法との整合性を示した。
関連論文リスト
- Bisimulation metric for Model Predictive Control [44.301098448479195]
Bisimulation Metric for Model Predictive Control (BS-MPC) は、目的関数にbisimulation metric lossを組み込んでエンコーダを直接最適化する新しい手法である。
BS-MPCは、トレーニング時間を削減することにより、トレーニング安定性、入力ノイズに対する堅牢性、および計算効率を向上させる。
我々は,DeepMind Control Suiteから連続制御および画像ベースタスクのBS-MPCを評価する。
論文 参考訳（メタデータ） (2024-10-06T17:12:10Z) - Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。
オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。
提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
論文 参考訳（メタデータ） (2024-08-05T03:18:58Z) - Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。
我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。
単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2024-06-06T17:37:39Z) - Guiding Pseudo-labels with Uncertainty Estimation for Test-Time
Adaptation [27.233704767025174]
Test-Time Adaptation (TTA) は、Unsupervised Domain Adaptation (UDA) の特定のケースであり、モデルがソースデータにアクセスせずにターゲットドメインに適合する。
本稿では,損失再重み付け戦略に基づくTTA設定のための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-07T10:04:55Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - Estimating Model Performance under Domain Shifts with Class-Specific
Confidence Scores [25.162667593654206]
不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。
我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
論文 参考訳（メタデータ） (2022-07-20T15:04:32Z) - Robust Anytime Learning of Markov Decision Processes [8.799182983019557]
データ駆動型アプリケーションでは、限られたデータから正確な確率を導き出すと統計的エラーが発生する。
不確実なMDP(uMDP)は正確な確率を必要としないが、遷移においていわゆる不確実性集合を用いる。
本稿では,ベイズ的推論スキームとロバストポリシーの計算を組み合わせた,頑健な任意の時間学習手法を提案する。
論文 参考訳（メタデータ） (2022-05-31T14:29:55Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳（メタデータ） (2020-05-25T12:13:49Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。