論文の概要: Contrasting the Hyperparameter Tuning Impact Across Software Defect Prediction Scenarios
- arxiv url: http://arxiv.org/abs/2510.16665v1
- Date: Sat, 18 Oct 2025 23:36:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.089061
- Title: Contrasting the Hyperparameter Tuning Impact Across Software Defect Prediction Scenarios
- Title（参考訳）: ソフトウェア欠陥予測シナリオにおけるハイパーパラメータチューニングの影響の対比
- Authors: Mohamed Sami Rakha, Andriy Miranskyy, Daniel Alencar da Costa,
- Abstract要約: ソフトウェア欠陥予測(SDP)は高品質なソフトウェア製品の提供に不可欠である。
近年の研究では、特定のSDPシナリオにハイパーパラメータチューニングを適用することにより、SDPの予測性能の向上が達成可能であることが示されている。
本研究では,2つの主軸および連続SDPシナリオにおけるハイパーパラメータチューニングの影響を比較した。
- 参考スコア（独自算出の注目度）: 0.22940141855172033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software defect prediction (SDP) is crucial for delivering high-quality software products. Recent research has indicated that prediction performance improvements in SDP are achievable by applying hyperparameter tuning to a particular SDP scenario. However, the positive impact resulting from the hyperparameter tuning step may differ based on the targeted SDP scenario. Comparing the impact of hyperparameter tuning across SDP scenarios is necessary to provide comprehensive insights and enhance the robustness, generalizability, and, eventually, the practicality of SDP modeling for quality assurance. Therefore, in this study, we contrast the impact of hyperparameter tuning across two pivotal and consecutive SDP scenarios: (1) Inner Version Defect Prediction (IVDP) and (2) Cross Version Defect Prediction (CVDP). The main distinctions between the two scenarios lie in the scope of defect prediction and the selected evaluation setups. This study's experiments use common evaluation setups, 28 machine learning (ML) algorithms, 53 post-release software datasets, two tuning algorithms, and five optimization metrics. We apply statistical analytics to compare the SDP performance impact differences by investigating the overall impact, the single ML algorithm impact, and variations across different software dataset sizes. The results indicate that the SDP gains within the IVDP scenario are significantly larger than those within the CVDP scenario. The results reveal that asserting performance gains for up to 24 out of 28 ML algorithms may not hold across multiple SDP scenarios. Furthermore, we found that small software datasets are more susceptible to larger differences in performance impacts. Overall, the study findings recommend software engineering researchers and practitioners to consider the effect of the selected SDP scenario when expecting performance gains from hyperparameter tuning.
- Abstract（参考訳）: ソフトウェア欠陥予測(SDP)は高品質なソフトウェア製品の提供に不可欠である。
近年の研究では、特定のSDPシナリオにハイパーパラメータチューニングを適用することにより、SDPの予測性能の向上が達成可能であることが示されている。
しかし、ハイパーパラメータチューニングステップから生じるポジティブな影響は、ターゲットのSDPシナリオによって異なる可能性がある。
SDPシナリオに対するハイパーパラメータチューニングの効果を比較することは、総合的な洞察を提供し、堅牢性、一般化可能性を高め、最終的には品質保証のためのSDPモデリングの実践性を高めるために必要である。
そこで本研究では,(1)内部バージョン欠陥予測(IVDP)と(2)クロスバージョン欠陥予測(CVDP)の2つのSDPシナリオにおけるハイパーパラメータチューニングの影響を対比した。
2つのシナリオの主な違いは、欠陥予測と選択された評価設定の範囲にある。
この実験では、一般的な評価設定、28の機械学習(ML)アルゴリズム、53のリリース後のソフトウェアデータセット、2つのチューニングアルゴリズム、5つの最適化メトリクスが使用されている。
統計的解析を適用し,SDPの性能への影響の全体的影響,単一MLアルゴリズムの影響,およびソフトウェアデータセットサイズの違いを調査することにより,SDPのパフォーマンスへの影響差を比較する。
その結果,IVDPシナリオ内のSDPゲインはCVDPシナリオよりも有意に大きいことがわかった。
その結果、28のMLアルゴリズムのうち、最大24のパフォーマンス向上を主張することは、複数のSDPシナリオで達成できないことが明らかになった。
さらに、小さなソフトウェアデータセットは、パフォーマンスへの影響の大きな違いの影響を受けやすいことがわかりました。
全体としては,ソフトウェア工学研究者や実践者が,ハイパーパラメータチューニングによるパフォーマンス向上を期待する場合,選択したSDPシナリオの効果を検討することを推奨している。
関連論文リスト
- On the Simplification of Neural Network Architectures for Predictive Process Monitoring [0.5735035463793009]
パラメータ数とアーキテクチャの深さの両面からモデル複雑性の低減が予測性能に与える影響を分析する。
その結果,Transformerモデルが85%縮小すると性能が2～3%低下することがわかった。
以上の結果から,モデル簡易化が予測精度を維持できる可能性が示唆された。
論文 参考訳（メタデータ） (2025-09-21T16:21:45Z) - Improving Large Language Model Planning with Action Sequence Similarity [50.52049888490524]
本研究では,インコンテキスト学習(ICL)によるモデル計画能力の向上について検討する。
GRASE-DC は2段階のパイプラインで,まず高効率のAS例を再サンプリングし,選択した例をキュレートする。
実験の結果,GRASE-DCは様々な計画タスクにおいて大幅な性能向上を実現していることがわかった。
論文 参考訳（メタデータ） (2025-05-02T05:16:17Z) - MBL-CPDP: A Multi-objective Bilevel Method for Cross-Project Defect Prediction via Automated Machine Learning [34.89241736003651]
クロスプロジェクト欠陥予測(CPDP)は、機械学習(ML)技術を活用して、特にプロジェクト固有のデータが不足しているソフトウェア欠陥を積極的に識別する。
本稿では,MBL-CPDPと呼ばれる多目的二段階最適化(MBLO)手法としてCPDPを定式化する。
これには、上層階、多目的最適化問題、下層階問題、高価な最適化問題という2つのネスト問題が含まれている。
論文 参考訳（メタデータ） (2024-11-10T15:17:15Z) - A Hybrid Sampling and Multi-Objective Optimization Approach for Enhanced Software Defect Prediction [3.407555189785573]
本稿では,ハイブリッドサンプリング技術と多目的最適化アルゴリズムを組み合わせた新しいSDPフレームワークを提案する。
提案モデルは,多目的最適化による特徴融合を適用し,一般化能力と予測の安定性を両立させる。
NASAとPROMISEリポジトリのデータセットで実施された実験は、提案されたハイブリッドサンプリングと多目的最適化アプローチがデータのバランスを改善し、冗長な特徴を排除し、予測精度を高めることを示した。
論文 参考訳（メタデータ） (2024-10-13T23:39:04Z) - DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。
大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
論文 参考訳（メタデータ） (2024-10-04T19:30:39Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳（メタデータ） (2022-05-26T12:51:32Z) - Explaining Hyperparameter Optimization via Partial Dependence Plots [5.25855526614851]
我々は、解釈型機械学習(IML)を用いて、ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。
BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つ部分依存プロット(PDP)の変種を導入する。
本研究では,サブリージョンにおけるPDPの質向上に関する定量的証拠を実験的に提示する。
論文 参考訳（メタデータ） (2021-11-08T20:51:54Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳（メタデータ） (2021-06-06T23:53:31Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳（メタデータ） (2021-02-10T15:23:20Z) - Understanding the Automated Parameter Optimization on Transfer Learning
for CPDP: An Empirical Study [23.63984151792791]
プロジェクト間の欠陥予測技術は、現在のプロジェクトにおけるモデル構築を容易にするために、他のプロジェクトからデータ/知識を借ります。
ほとんどのCPDP技術は、転送学習と分類の2つの主要なステップを含み、それぞれが最適な性能を達成するために調整すべきパラメータが少なくとも1つある。
自動パラメータ最適化が様々なCPDP技術に与える影響について、十分に理解されていない。
論文 参考訳（メタデータ） (2020-02-08T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。