論文の概要: Taming Timeout Flakiness: An Empirical Study of SAP HANA
- arxiv url: http://arxiv.org/abs/2402.05223v3
- Date: Sat, 28 Sep 2024 11:12:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 22:00:58.030063
- Title: Taming Timeout Flakiness: An Empirical Study of SAP HANA
- Title（参考訳）: Taming Timeout Flakiness: A Empirical Study of SAP HANA
- Authors: Alexander Berndt, Sebastian Baltes, Thomas Bach,
- Abstract要約: 不安定なテストは回帰テストに悪影響を及ぼします。
テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。
テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
- 参考スコア（独自算出の注目度）: 47.29324864511411
- License:
- Abstract: Regression testing aims to prevent code changes from breaking existing features. Flaky tests negatively affect regression testing because they result in test failures that are not necessarily caused by code changes, thus providing an ambiguous signal. Test timeouts are one contributing factor to such flaky test failures. With the goal of reducing test flakiness in SAP HANA, we empirically study the impact of test timeouts on flakiness in system tests. We evaluate different approaches to automatically adjust timeout values, assessing their suitability for reducing execution time costs and improving build turnaround times. We collect metadata on SAP HANA's test executions by repeatedly executing tests on the same code revision over a period of six months. We analyze the test flakiness rate, investigate the evolution of test timeout values, and evaluate different approaches for optimizing timeout values. The test flakiness rate ranges from 49% to 70%, depending on the number of repeated test executions. Test timeouts account for 70% of flaky test failures. Developers typically react to flaky timeouts by manually increasing timeout values or splitting long-running tests. However, manually adjusting timeout values is a tedious task. Our approach for timeout optimization reduces timeout-related flaky failures by 80% and reduces the overall median timeout value by 25%, i.e., blocked tests are identified faster. Test timeouts are a major contributing factor to flakiness in system tests. It is challenging for developers to effectively mitigate this problem manually. Our technique for optimizing timeout values reduces flaky failures while minimizing test costs. Practitioners working on large-scale industrial software systems can use our findings to increase the effectiveness of their system tests while reducing the burden on developers to manually maintain appropriate timeout values.
- Abstract（参考訳）: 回帰テストは、コードの変更が既存の機能を壊すのを防ぐことを目的としている。
不安定なテストは回帰テストに悪影響を及ぼす。それは、必ずしもコードの変更によって起こらないテストの失敗の結果であり、あいまいな信号を与えるからだ。
テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。
SAP HANAにおけるテストのフレキネスを低減することを目的として,テストタイムアウトがシステムテストのフレキネスに与える影響を実証的に検討した。
我々は、タイムアウト値を自動調整するための様々なアプローチを評価し、実行時間コストを削減し、ビルドのターンアラウンド時間を改善するための適合性を評価した。
SAP HANAのテスト実行のメタデータは、同じコード修正で6ヶ月にわたって繰り返しテストを実行することで収集する。
テストのフレキネス率を分析し、テストタイムアウト値の進化を調べ、タイムアウト値を最適化するための異なるアプローチを評価する。
テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
テストタイムアウトは、不安定なテスト失敗の70%を占める。
開発者は通常、手動でタイムアウト値を増やしたり、長時間実行したテストを分割することで、不安定なタイムアウトに反応する。
しかし、手動でタイムアウト値を調整するのは面倒な作業である。
タイムアウト最適化に対する我々のアプローチは、タイムアウトに関連する不安定な障害を80%削減し、全体的な中央値のタイムアウト値を25%削減する。
テストタイムアウトは、システムテストにおけるフレキネスの主要な要因である。
開発者がこの問題を効果的に軽減することは難しい。
タイムアウト値を最適化する手法は、テストコストを最小化しながら、不安定な故障を低減します。
大規模産業ソフトウェアシステムに取り組んでいる実践者は、我々の発見を利用してシステムテストの有効性を高めつつ、開発者が手動で適切なタイムアウト値を維持することの負担を軽減できます。
関連論文リスト
- Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
不安定なテストはコードの変更なしにランダムに失敗する。
テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
論文 参考訳（メタデータ） (2024-09-16T07:52:09Z) - STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。
本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。
本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-22T16:25:41Z) - WEFix: Intelligent Automatic Generation of Explicit Waits for Efficient
Web End-to-End Flaky Tests [13.280540531582945]
Web e2e テストにおいて UI ベースのフレキネスの修正コードを自動生成する技術である WEFix を提案する。
We evaluate the effective and efficiency of WEFix against 122 web e2e flaky tests from 7 popular real-world projects。
論文 参考訳（メタデータ） (2024-02-15T06:51:53Z) - The Effects of Computational Resources on Flaky Tests [9.694460778355925]
不安定なテストは、不確定にパスし、変更のないコードで失敗するテストである。
リソースに影響されたFraky Testsは、テストの実行時に利用可能なリソースを調整することで、かなりの数のFraky-test障害を回避することができることを示している。
論文 参考訳（メタデータ） (2023-10-18T17:42:58Z) - Accelerating Continuous Integration with Parallel Batch Testing [0.0]
大規模な継続的インテグレーションはソフトウェア開発に不可欠です。
テスト選択や優先順位付けなどの様々なテクニックは、コスト削減を目的としている。
本研究では,テストマシン数を調整することで並列化の効果を評価する。
我々はDynamic TestCaseを提案し、新しいビルドが完全なテスト実行の前にバッチに結合できるようにする。
論文 参考訳（メタデータ） (2023-08-25T01:09:31Z) - Time-based Repair for Asynchronous Wait Flaky Tests in Web Testing [0.0]
非同期待ち行列は、Webアプリケーションで最も多い原因の一つだ。
本稿では,非同期待ちフレキテストのための時間ベースの自動修復手法TRafを提案する。
我々の分析では、TRafは開発者による修正よりも、テストのフレキネスを解決するのに待ち時間が短いことを示唆している。
論文 参考訳（メタデータ） (2023-05-15T12:17:30Z) - Sequential Kernelized Independence Testing [101.22966794822084]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。
メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。
この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
論文 参考訳（メタデータ） (2021-03-30T09:33:38Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。