論文の概要: Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA

• arxiv url: http://arxiv.org/abs/2409.10062v1
• Date: Mon, 16 Sep 2024 07:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:21:11.855921
• Title: Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA
• Title（参考訳）: テストと環境の複雑さはフレキネスを高めるか? : SAP HANAの実証研究
• Authors: Alexander Berndt, Thomas Bach, Sebastian Baltes,
• Abstract要約: 不安定なテストはコードの変更なしにランダムに失敗する。 テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
• 参考スコア（独自算出の注目度）: 47.29324864511411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Test flakiness is a major problem in the software industry. Flaky tests fail seemingly at random without changes to the code and thus impede continuous integration (CI). Some researchers argue that all tests can be considered flaky and that tests only differ in their frequency of flaky failures. Aims: With the goal of developing mitigation strategies to reduce the negative impact of test flakiness, we study characteristics of tests and the test environment that potentially impact test flakiness. Method: We construct two datasets based on SAP HANA's test results over a 12-week period: one based on production data, the other based on targeted test executions from a dedicated flakiness experiment. We conduct correlation analysis for test and test environment characteristics with respect to their influence on the frequency of flaky test failures. Results: In our study, the average test execution time had the strongest positive correlation with the test flakiness rate (r = 0.79), which confirms previous studies. Potential reasons for higher flakiness include the larger test scope of long-running tests or test executions on a slower test infrastructure. Interestingly, the load on the testing infrastructure was not correlated with test flakiness. The relationship between test flakiness and required resources for test execution is inconclusive. Conclusions: Based on our findings, we conclude that splitting long-running tests can be an important measure for practitioners to cope with test flakiness, as it enables parallelization of test executions and also reduces the cost of re-executions. This effectively decreases the negative effects of test flakiness in complex testing environments. However, when splitting long-running tests, practitioners need to consider the potential test setup overhead of test splits.
• Abstract（参考訳）: 背景: テストのフレキネスはソフトウェア業界で大きな問題です。 不安定なテストはコードの変更なしにランダムに失敗し、継続的統合(CI)を阻害する。 一部の研究者は、全てのテストはフレキとみなすことができ、テストはフレキの失敗の頻度だけが異なると論じている。 Aims: テストフレキネスの負の影響を低減するための緩和戦略を開発することを目的として,テストフレキネスに影響を及ぼす可能性のあるテストの特性とテスト環境について検討した。 方法: SAP HANAのテスト結果に基づく2つのデータセットを12週間にわたって構築する。 本研究では, 試験環境特性と試験環境特性の相関解析を行い, フレキな試験故障の発生頻度に与える影響について検討した。 結果: 本研究では, テスト実行時間の平均は, テストフレキネス率 (r=0.79) と最も高い正の相関を示した。 高いフレキネスの潜在的な理由は、長時間実行されるテストのより大きなテスト範囲や、遅いテストインフラストラクチャ上でのテスト実行である。 興味深いことに、テストインフラストラクチャの負荷はテストのフレキネスと相関しなかった。 テストのフレキネスとテスト実行に必要なリソースの関係は決定的ではない。 結論: 結論として, 長期テストの分割は, テスト実行の並列化と再実行コストの削減を可能にするため, 実践者がテストフレキネスに対処する上で重要な手段である,と結論づける。 これにより、複雑なテスト環境におけるテストフレキネスの負の効果を効果的に減少させる。 しかし、長期にわたるテストを分割する場合、実践者はテスト分割の潜在的なテスト設定オーバーヘッドを考慮する必要がある。

関連論文リスト

• Taming Timeout Flakiness: An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストは回帰テストに悪影響を及ぼします。 テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。 テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
  論文  参考訳（メタデータ） (2024-02-07T20:01:41Z)
• Precise Error Rates for Computationally Efficient Testing [75.63895690909241]
  本稿では,計算複雑性に着目した単純な対数-単純仮説テストの問題を再考する。 線形スペクトル統計に基づく既存の試験は、I型とII型の誤差率の間の最良のトレードオフ曲線を達成する。
  論文  参考訳（メタデータ） (2023-11-01T04:41:16Z)
• The Effects of Computational Resources on Flaky Tests [9.694460778355925]
  不安定なテストは、不確定にパスし、変更のないコードで失敗するテストである。 リソースに影響されたFraky Testsは、テストの実行時に利用可能なリソースを調整することで、かなりの数のFraky-test障害を回避することができることを示している。
  論文  参考訳（メタデータ） (2023-10-18T17:42:58Z)
• Validation of massively-parallel adaptive testing using dynamic control matching [0.0]
  現代のビジネスはしばしば同時に多数のA/B/nテストを実行し、多くのコンテンツバリエーションを同じメッセージにパッケージ化する。 本稿では, 連続試験適応条件下での各種試験の因果効果を解消する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-02T11:28:12Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Model-Free Sequential Testing for Conditional Independence via Testing by Betting [8.293345261434943]
  提案されたテストでは、任意の依存関係構造を持つ入ってくるi.d.データストリームを分析できる。 重要な結果が検出されれば,オンライン上でのデータポイントの処理を可能とし,データ取得を停止する。
  論文  参考訳（メタデータ） (2022-10-01T20:05:33Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• On the use of test smells for prediction of flaky tests [0.0]
  不安定な検査は 検査結果の評価を妨げ コストを増大させる 既存のテストケース語彙の使用に基づくアプローチは、文脈に敏感であり、過度に適合する傾向がある。 フレキな検査の予測因子として, 試験臭の使用について検討した。
  論文  参考訳（メタデータ） (2021-08-26T13:21:55Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。