論文の概要: An Empirical Study of the Impact of Test Strategies on Online Optimization for Ensemble-Learning Defect Prediction
- arxiv url: http://arxiv.org/abs/2409.06264v1
- Date: Tue, 10 Sep 2024 07:06:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 18:50:07.709658
- Title: An Empirical Study of the Impact of Test Strategies on Online Optimization for Ensemble-Learning Defect Prediction
- Title（参考訳）: オンライン学習欠陥予測におけるテスト戦略がオンライン最適化に及ぼす影響に関する実証的研究
- Authors: Kensei Hamamoto, Masateru Tsunoda, Amjed Tahir, Kwabena Ebo Bennin, Akito Monden, Koji Toda, Keitaro Nakasai, Kenichi Matsumoto,
- Abstract要約: 我々は,最高精度アンサンブル法を選択するために,オンライン最適化手法であるBanditアルゴリズム(BA)を用いる。
我々は6つの一般的な欠陥予測データセット、バッジのような4つのアンサンブル学習方法、そして、最初に正の予測モジュールをテストする(PF)3つのテスト戦略を使用した。
以上の結果から, BAをPFに適用した場合, 予測精度は平均で向上し, 6つのデータセットのうち最低5つで検出された欠陥数は7%増加した。
- 参考スコア（独自算出の注目度）: 2.547631669143471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensemble learning methods have been used to enhance the reliability of defect prediction models. However, there is an inconclusive stability of a single method attaining the highest accuracy among various software projects. This work aims to improve the performance of ensemble-learning defect prediction among such projects by helping select the highest accuracy ensemble methods. We employ bandit algorithms (BA), an online optimization method, to select the highest-accuracy ensemble method. Each software module is tested sequentially, and bandit algorithms utilize the test outcomes of the modules to evaluate the performance of the ensemble learning methods. The test strategy followed might impact the testing effort and prediction accuracy when applying online optimization. Hence, we analyzed the test order's influence on BA's performance. In our experiment, we used six popular defect prediction datasets, four ensemble learning methods such as bagging, and three test strategies such as testing positive-prediction modules first (PF). Our results show that when BA is applied with PF, the prediction accuracy improved on average, and the number of found defects increased by 7% on a minimum of five out of six datasets (although with a slight increase in the testing effort by about 4% from ordinal ensemble learning). Hence, BA with PF strategy is the most effective to attain the highest prediction accuracy using ensemble methods on various projects.
- Abstract（参考訳）: 組立学習法は欠陥予測モデルの信頼性を高めるために用いられている。
しかし、様々なソフトウェアプロジェクトの中で最も精度の高い1つの方法には、決定的な安定性がある。
本研究は,最も高精度なアンサンブル手法の選択を支援することで,これらのプロジェクト間のアンサンブル学習欠陥予測の性能を向上させることを目的とする。
我々は,最高精度アンサンブル法を選択するために,オンライン最適化手法であるBanditアルゴリズム(BA)を用いる。
各ソフトウェアモジュールを逐次テストし、各モジュールのテスト結果を利用してアンサンブル学習手法の性能を評価する。
その後のテスト戦略は、オンライン最適化を適用する際のテストの取り組みと予測精度に影響を与える可能性がある。
そこで,テストオーダーがBAの性能に与える影響を解析した。
実験では,6つの一般的な欠陥予測データセット,バッグングのような4つのアンサンブル学習手法,および正の予測モジュールを最初にテストする(PF)3つのテスト戦略を用いた。
その結果, BAをPFに適用した場合, 予測精度は平均で向上し, 6つのデータセットのうち少なくとも5つのデータセットにおいて, 検出された欠陥数は7%増加した(ただし, 通常のアンサンブル学習では4%程度, テストの労力はわずかに増加した)。
したがって、PF戦略を持つBAは、様々なプロジェクトにおけるアンサンブル手法を用いて、最も高い予測精度を達成するのに最も効果的である。
関連論文リスト
- The Impact of Defect (Re) Prediction on Software Testing [1.5869998695491834]
クロスプロジェクト欠陥予測(CPDP)は、同じプロジェクトから過去のデータが入手できない可能性があるため、外部プロジェクトからのデータを使用することを目的としている。
Bandit Algorithm(BA)に基づくアプローチは、これまで最も適切な学習プロジェクトを選択するために提案されてきた。
本研究の目的は,特に早期試験において,見渡す欠陥を減らすため,BA法を改善することである。
論文 参考訳（メタデータ） (2024-04-17T03:34:13Z) - A positive feedback method based on F-measure value for Salient Object
Detection [1.9249287163937976]
本稿では,SODに対するF値に基づく正のフィードバック手法を提案する。
提案手法は,画像を検出して既存のモデルに入力し,それぞれの予測マップを取得する。
5つの公開データセットに対する実験結果から,提案手法の正のフィードバックは,5つの評価指標において最新の12の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-04-28T04:05:13Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Learning Predictions for Algorithms with Predictions [49.341241064279714]
予測器を学習するアルゴリズムに対して,一般的な設計手法を導入する。
オンライン学習の手法を応用して、敵のインスタンスに対して学習し、堅牢性と一貫性のあるトレードオフを調整し、新しい統計的保証を得る。
両部マッチング,ページマイグレーション,スキーレンタル,ジョブスケジューリングの手法を解析することにより,学習アルゴリズムの導出におけるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-02-18T17:25:43Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。
まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。
次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
論文 参考訳（メタデータ） (2021-02-10T15:23:20Z) - A Novel Multiple Ensemble Learning Models Based on Different Datasets
for Software Defect Prediction [3.6095388702618414]
本稿では,異なるデータセット上で,KNN,決定木,SVM,Na"ive Bayesのアンサンブル学習モデルを提案し,比較分析を行った。
CM1で訓練されたアンサンブルモデルの分類精度は98.56%、KM2で訓練されたアンサンブルモデルの分類精度は98.18%、PC1で訓練されたアンサンブル学習モデルの分類精度は99.27%である。
論文 参考訳（メタデータ） (2020-08-30T08:01:39Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。