論文の概要: Comparative Study of Machine Learning Test Case Prioritization for Continuous Integration Testing

• arxiv url: http://arxiv.org/abs/2204.10899v1
• Date: Fri, 22 Apr 2022 19:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 07:12:36.405079
• Title: Comparative Study of Machine Learning Test Case Prioritization for Continuous Integration Testing
• Title（参考訳）: 継続的インテグレーションテストにおける機械学習テストケースプライオリティ化の比較検討
• Authors: Dusica Marijan
• Abstract要約: 異なる機械学習モデルは、モデルトレーニングに使用するテスト履歴のサイズや、テストケースの実行に利用可能な時間予算に異なるパフォーマンスを持つことを示す。 この結果から,継続的統合テストにおけるテスト優先化のための機械学習アプローチは,最適性能を達成するために慎重に設定されるべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: There is a growing body of research indicating the potential of machine learning to tackle complex software testing challenges. One such challenge pertains to continuous integration testing, which is highly time-constrained, and generates a large amount of data coming from iterative code commits and test runs. In such a setting, we can use plentiful test data for training machine learning predictors to identify test cases able to speed up the detection of regression bugs introduced during code integration. However, different machine learning models can have different fault prediction performance depending on the context and the parameters of continuous integration testing, for example variable time budget available for continuous integration cycles, or the size of test execution history used for learning to prioritize failing test cases. Existing studies on test case prioritization rarely study both of these factors, which are essential for the continuous integration practice. In this study we perform a comprehensive comparison of the fault prediction performance of machine learning approaches that have shown the best performance on test case prioritization tasks in the literature. We evaluate the accuracy of the classifiers in predicting fault-detecting tests for different values of the continuous integration time budget and with different length of test history used for training the classifiers. In evaluation, we use real-world industrial datasets from a continuous integration practice. The results show that different machine learning models have different performance for different size of test history used for model training and for different time budget available for test case execution. Our results imply that machine learning approaches for test prioritization in continuous integration testing should be carefully configured to achieve optimal performance.
• Abstract（参考訳）: 複雑なソフトウェアテストの課題に取り組むための機械学習の可能性を示す研究団体が増えている。 このような課題の1つは、高度に時間制約があり、反復的なコードコミットとテスト実行から大量のデータを生成する継続的インテグレーションテストに関するものだ。 このような設定では、マシンラーニング予測器のトレーニングに豊富なテストデータを使用することで、コード統合時に発生した回帰バグの検出を高速化するテストケースを特定できます。 しかし、さまざまな機械学習モデルは、継続的インテグレーションテストのコンテキストやパラメータによって異なるフォールト予測性能を持つことができる。例えば、継続的インテグレーションサイクルで利用可能な可変時間予算や、失敗するテストケースを優先順位付けするために学習に使用されるテスト実行履歴のサイズなどだ。 テストケースの優先順位付けに関する既存の研究は、継続的インテグレーションの実践に不可欠なこれら2つの要因をほとんど研究していない。 本研究では,本論文におけるテストケース優先順位付けタスクにおいて,最も優れた性能を示す機械学習手法の故障予測性能を包括的に比較する。 連続統合時間予算の異なる値と分類器の訓練に用いるテスト履歴の異なる値に対する故障検出テストの予測における分類器の精度を評価する。 評価では、継続的インテグレーションの実践から実世界の産業データセットを使用します。 その結果、異なる機械学習モデルは、モデルトレーニングに使用されるテスト履歴のサイズと、テストケース実行に利用可能なさまざまな時間予算で異なるパフォーマンスを持つことがわかった。 この結果から,継続的インテグレーションテストにおけるテスト優先化のための機械学習アプローチは,最適性能を達成するために慎重に設定されるべきであることが示唆された。

関連論文リスト

• Which Combination of Test Metrics Can Predict Success of a Software Project? A Case Study in a Year-Long Project Course [1.553083901660282]
  テストはソフトウェア開発プロジェクトの成功を保証する上で重要な役割を担います。 種々のテストが機能的適合性に与える影響を定量化できるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-08-22T04:23:51Z)
• Towards Explainable Test Case Prioritisation with Learning-to-Rank Models [6.289767078502329]
  テストケース優先順位付け(TCP)は、ソフトウェアが進化するにつれて品質を確保するために回帰テストにおいて重要なタスクである。 我々は、異なる説明を必要とするシナリオと、TCPの特異性がそれらにどのように影響するかを提示し、議論する。
  論文  参考訳（メタデータ） (2024-05-22T16:11:45Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• Matched Machine Learning: A Generalized Framework for Treatment Effect Inference With Learned Metrics [87.05961347040237]
  我々は、機械学習ブラックボックスの柔軟性とマッチングの解釈可能性を組み合わせたフレームワークであるMatched Machine Learningを紹介する。 我々のフレームワークは機械学習を用いて、一致した単位を学習し、結果を推定する最適な指標を学習する。 一致機械学習のインスタンスはブラックボックスの機械学習手法と同等に動作し、類似した問題に対する既存のマッチング手法よりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-04-03T19:32:30Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• DELTA: degradation-free fully test-time adaptation [59.74287982885375]
  テスト時間バッチ正規化(BN)や自己学習といった,一般的な適応手法では,2つの好ましくない欠陥が隠されていることがわかった。 まず、テスト時間BNにおける正規化統計は、現在受信されているテストサンプルに完全に影響され、その結果、不正確な推定結果が得られることを明らかにする。 第二に、テスト時間適応中にパラメータ更新が支配的なクラスに偏っていることを示す。
  論文  参考訳（メタデータ） (2023-01-30T15:54:00Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Systematic Training and Testing for Machine Learning Using Combinatorial Interaction Testing [0.0]
  本稿では,機械学習モデルにおけるテストセットとトレーニングセットの選択と特徴付けのためのカバレッジの体系的利用について述べる。 この論文は、カバレッジに対する事前の批判に対処し、機械学習アプリケーションにおけるカバレッジメトリクスの使用を提唱する反論を提供する。
  論文  参考訳（メタデータ） (2022-01-28T21:33:31Z)
• DeepOrder: Deep Learning for Test Case Prioritization in Continuous Integration Testing [6.767885381740952]
  この研究は、回帰機械学習に基づいて動作するディープラーニングベースのモデルであるDeepOrderを紹介している。 DeepOrderは、テスト実行の履歴記録に基づいて、以前のテストサイクルの任意の数からテストケースをランク付けする。 実験により, 深部ニューラルネットワークは, 単純な回帰モデルとして, 連続的な統合テストにおいて, テストケースの優先順位付けに効率的に利用できることを示した。
  論文  参考訳（メタデータ） (2021-10-14T15:10:38Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。