論文の概要: Understanding Software Defect Prediction: A Large-scale Empirical Study Across Uncertainty Quantification and Performance Evaluation

• arxiv url: http://arxiv.org/abs/2607.01842v1
• Date: Thu, 02 Jul 2026 08:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.737984
• Title: Understanding Software Defect Prediction: A Large-scale Empirical Study Across Uncertainty Quantification and Performance Evaluation
• Title（参考訳）: ソフトウェアの欠陥予測を理解する:不確かさの定量化と性能評価に関する大規模な実証的研究
• Abstract要約: ソフトウェア欠陥予測(SDP)分類器は、検査優先順位付け、しきい値調整、リスクコミュニケーションに使用される確率を生成する。 SDPに対する確率ベース不確実性定量化(UQ)の大規模実験を行った。 5つのUQ指標、6つのパフォーマンス指標、3つのキャリブレーション指標を16の代表的な分類器で評価した。
• 参考スコア（独自算出の注目度）: 12.540031438888716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software defect prediction (SDP) classifiers produce probabilities used for inspection prioritization, threshold tuning, and risk communication. Probability-based uncertainty quantification (UQ) characterizes prediction confidence, but whether common UQ metrics reliably indicate performance and calibration remains unclear. We conducted a large-scale empirical study of probability-based UQ for SDP. We evaluated five UQ metrics, six performance metrics, and three calibration metrics for 16 representative classifiers. We analyzed these relationships under two prediction settings: within-project defect prediction (WPDP), using 36 benchmark datasets, and cross-project defect prediction (CPDP), using 32 feature-compatible datasets. Results showed that UQ was highly context-dependent. Under WPDP, UQ correlated more consistently with false positive rate and AUC than with MCC, F1 score, and other metrics; these correlations also varied across classifier categories and dataset collections. Performance and calibration were related but not interchangeable; classifiers with strong discrimination could still exhibit large calibration error. Under CPDP, several UQ-performance and UQ-calibration correlations weakened or reversed, indicating that uncertainty signals do not reliably transfer across projects. Thus, UQ should be evaluated against specific performance objectives. Calibration should be assessed independently using multiple metrics. Transferred probabilities should be revalidated before guiding quality-assurance decisions.
• Abstract（参考訳）: ソフトウェア欠陥予測(SDP)分類器は、検査優先順位付け、しきい値調整、リスクコミュニケーションに使用される確率を生成する。 確率に基づく不確実性定量化(UQ)は予測信頼性を特徴付けるが、一般的なUQ指標が性能と校正性を確実に示すかどうかは不明である。 SDPにおける確率ベースUQの大規模実験を行った。 5つのUQ指標、6つのパフォーマンス指標、3つのキャリブレーション指標を16の代表的な分類器で評価した。 我々はこれらの関係を,36個のベンチマークデータセットを用いたプロジェクト内欠陥予測(WPDP)と32個の機能互換データセットを用いたプロジェクト間欠陥予測(CPDP)という2つの予測条件下で解析した。 その結果,UQは文脈依存的であった。 WPDPでは、UQはMCC、F1スコア、その他の指標よりも偽陽性率やAUCと一貫して相関しており、これらの相関は分類器のカテゴリやデータセットのコレクションによって異なる。 性能と校正は関連があったが、交換可能ではなかった。 CPDPの下では、いくつかのUQ性能とUQ校正相関が弱まり、逆転し、不確実性信号がプロジェクト間で確実に伝達されないことを示す。 したがって、UQは特定のパフォーマンス目標に対して評価されるべきである。 キャリブレーションは、複数のメトリクスを使って独立して評価されるべきである。 トランスファーされた確率は、品質保証決定を導く前に無効化されるべきである。

関連論文リスト

• The Role of Ambiguity in Error Prediction via Uncertainty Quantification [6.973934615085226]
  本稿では,UQ信号からの入力あいまいさを解消し,Large Language Models(LLMs)の誤り予測を改善する手法を提案する。 質問回答(QA)を6つのUQ指標を用いて実施し、UQ指標が複数の答えを持つ質問よりも曖昧なインスタンス上のエラーを予測可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-01T11:20:57Z)
• Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
  条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。 本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。 本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
  論文  参考訳（メタデータ） (2026-05-29T03:52:44Z)
• Statistical Inference for Score Decompositions [0.0]
  本稿では,評価関数を3つの解釈可能な成分に分割するスコア分解法を提案する。 調査インフレ予測では,総合的な予測能力がない場合でも,識別能力は著しく異なることが判明した。 バックテストのパフォーマンスから予測精度を遠ざけることで、現在の銀行規制における重大な欠点を明らかにする。
  論文  参考訳（メタデータ） (2026-03-04T16:57:08Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.13382635602206]
  このミスアライメントを測定するための既存のアプローチは、主にキャリブレーションの枠組みの下で開発されている。 本稿では,CCE(Congruence Error)という,学習した予測分布とデータセット内の経験的条件分布との間の距離を,条件付きカーネルの平均埋め込みを用いて推定する手法を提案する。 我々は高次元回帰タスクを行い、CCEが4つの重要な特性を示すことを示す: $textitcorrectness$, $textitmonotonicity$, $textitreliability$, $textitrobustness$。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Negative impact of heavy-tailed uncertainty and error distributions on the reliability of calibration statistics for machine learning regression tasks [0.0]
  重み付き不確実性および誤差分布に対して,MV,MSE,それらの信頼区間の推定は信頼性に欠けることが示されている。 同じ問題が、一般的なenceのような条件付きキャリブレーション統計にも影響することが期待されている。
  論文  参考訳（メタデータ） (2024-02-15T16:05:35Z)
• Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation [22.67361489565711]
  クリック後変換率(CVR)は、オンライン顧客の嗜好の信頼できる指標である。 本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:42:48Z)
• Towards Clear Expectations for Uncertainty Estimation [64.20262246029286]
  不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。 この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
  論文  参考訳（メタデータ） (2022-07-27T07:50:57Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。