論文の概要: Reduction of Test Re-runs by Prioritizing Potential Order Dependent Flaky Tests
- arxiv url: http://arxiv.org/abs/2510.26171v1
- Date: Thu, 30 Oct 2025 06:17:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.678929
- Title: Reduction of Test Re-runs by Prioritizing Potential Order Dependent Flaky Tests
- Title(参考訳): 電位次依存型フレーク試験の優先順位付けによるテスト再実行の低減
- Authors: Hasnain Iqbal, Zerina Begum, Kazi Sakib,
- Abstract要約: 不安定なテストは、予測不可能な振る舞いのため、自動化されたソフトウェアテストの信頼性を損なう可能性がある。
フラキーテストの一般的なタイプは、順序依存(OD)テストである。
本稿では,潜在的なODテストの優先順位付け手法を提案する。
- 参考スコア(独自算出の注目度): 0.5798758080057375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flaky tests can make automated software testing unreliable due to their unpredictable behavior. These tests can pass or fail on the same code base on multiple runs. However, flaky tests often do not refer to any fault, even though they can cause the continuous integration (CI) pipeline to fail. A common type of flaky test is the order-dependent (OD) test. The outcome of an OD test depends on the order in which it is run with respect to other test cases. Several studies have explored the detection and repair of OD tests. However, their methods require re-runs of tests multiple times, that are not related to the order dependence. Hence, prioritizing potential OD tests is necessary to reduce the re-runs. In this paper, we propose a method to prioritize potential order-dependent tests. By analyzing shared static fields in test classes, we identify tests that are more likely to be order-dependent. In our experiment on 27 project modules, our method successfully prioritized all OD tests in 23 cases, reducing test executions by an average of 65.92% and unnecessary re-runs by 72.19%. These results demonstrate that our approach significantly improves the efficiency of OD test detection by lowering execution costs.
- Abstract(参考訳): 不安定なテストは、予測不可能な振る舞いのため、自動化されたソフトウェアテストの信頼性を損なう可能性がある。
これらのテストは、複数の実行で同じコードベースをパスまたはフェールすることができる。
しかしながら、継続的インテグレーション(CI)パイプラインが失敗する可能性があるにもかかわらず、不安定なテストは、何の障害も言及しないことが多い。
フラキーテストの一般的なタイプは、順序依存(OD)テストである。
ODテストの結果は、他のテストケースに対して実行される順序に依存する。
いくつかの研究がOD試験の検出と修復について調査している。
しかし、それらのメソッドは順序依存とは無関係なテストを繰り返し再実行する必要がある。
したがって、再実行を減らすためには、潜在的なODテストの優先順位付けが必要である。
本稿では,潜在的順序依存テストの優先順位付け手法を提案する。
テストクラスの共有静的フィールドを解析することにより、順序に依存しやすいテストを特定する。
27のプロジェクトモジュールに対する実験では、23のケースですべてのODテストを優先順位付けし、テストの実行を平均65.92%削減し、不要な再実行を72.19%削減しました。
これらの結果から,本手法は実行コストの低減によるODテストの検出効率を著しく向上することが示された。
関連論文リスト
- JS-TOD: Detecting Order-Dependent Flaky Tests in Jest [5.178246622041266]
JS-TODは、Jestテストを抽出、再注文、再実行して、順序に依存したテストのフレキネスを明らかにするツールである。
テストの順序依存性は、テストのフレキネスの主要な原因の1つです。
論文 参考訳(メタデータ) (2025-08-30T11:44:14Z) - Studying the Impact of Early Test Termination Due to Assertion Failure on Code Coverage and Spectrum-based Fault Localization [48.22524837906857]
本研究は,アサーション障害による早期検査終了に関する最初の実証的研究である。
6つのオープンソースプロジェクトの207バージョンを調査した。
以上の結果から,早期検査終了は,コードカバレッジとスペクトルに基づく障害局所化の有効性の両方を損なうことが示唆された。
論文 参考訳(メタデータ) (2025-04-06T17:14:09Z) - Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
不安定なテストはコードの変更なしにランダムに失敗する。
テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
論文 参考訳(メタデータ) (2024-09-16T07:52:09Z) - Taming Timeout Flakiness: An Empirical Study of SAP HANA [47.29324864511411]
不安定なテストは回帰テストに悪影響を及ぼします。
テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。
テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
論文 参考訳(メタデータ) (2024-02-07T20:01:41Z) - The Effects of Computational Resources on Flaky Tests [9.694460778355925]
不安定なテストは、不確定にパスし、変更のないコードで失敗するテストである。
リソースに影響されたFraky Testsは、テストの実行時に利用可能なリソースを調整することで、かなりの数のFraky-test障害を回避することができることを示している。
論文 参考訳(メタデータ) (2023-10-18T17:42:58Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳(メタデータ) (2022-12-14T18:08:42Z) - Test2Vec: An Execution Trace Embedding for Test Case Prioritization [12.624724734296342]
テストケースの実行トレースは、自動テストタスクの振る舞いを抽象化するよい代替手段になり得る。
本稿では,テスト実行トレースを潜在空間にマッピングする新しい埋め込み手法Test2Vecを提案する。
結果より,提案したTPは,第1検体の平均正規化ランクを41.80%向上させることがわかった。
論文 参考訳(メタデータ) (2022-06-28T20:38:36Z) - DeepOrder: Deep Learning for Test Case Prioritization in Continuous
Integration Testing [6.767885381740952]
この研究は、回帰機械学習に基づいて動作するディープラーニングベースのモデルであるDeepOrderを紹介している。
DeepOrderは、テスト実行の履歴記録に基づいて、以前のテストサイクルの任意の数からテストケースをランク付けする。
実験により, 深部ニューラルネットワークは, 単純な回帰モデルとして, 連続的な統合テストにおいて, テストケースの優先順位付けに効率的に利用できることを示した。
論文 参考訳(メタデータ) (2021-10-14T15:10:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。