論文の概要: A Dataset of Reproducible Flaky-Test Failures

• arxiv url: http://arxiv.org/abs/2605.21677v1
• Date: Wed, 20 May 2026 19:36:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.481646
• Title: A Dataset of Reproducible Flaky-Test Failures
• Title（参考訳）: 再現可能なフレキシブルテスト失敗のデータセット
• Abstract要約: 不安定なテストは、同じバージョンのコードで実行された場合、非決定的にパスして失敗する。 提案するReproFlakeは,4つのフレークテストカテゴリにまたがる再現可能なフレークテスト1115のデータセットである。
• 参考スコア（独自算出の注目度）: 6.23537633626453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flaky tests pass and fail non-deterministically when run on the same version of code. Although many techniques have been proposed to detect, debug, and repair flaky tests, reproducing their failures remains a major challenge due to their inherent nondeterminism. Many flaky test datasets exist to help researchers study them, but these datasets are often composed of disjoint sets of flaky tests, where each dataset provides unique information, such as flaky tests of different categories, failure logs of flaky tests, or flaky tests reported by developers vs. flaky tests found by automated tools. In this work, we aim to create a reproducible dataset of flaky tests, curated from both developer issue reports and a popular dataset of flaky tests. Compared to prior flaky test datasets, our dataset is the first to provide (1) a reproducible environment to compile flaky tests, (2) scripts to reproduce failures, (3) scripts to automatically apply flaky test fixes and ensure that the tests are no longer flaky, and (4) execution logs of flaky test passing and failing. We present ReproFlake, a dataset of 1115 reproducible flaky tests across four flaky test categories. We create guidelines to help others contribute to this reproducible dataset, and demonstrate how to use our dataset to understand challenges in reproducing flaky test failures (e.g., challenges researchers may face when using prior flaky test datasets), the characteristics (e.g., location of the fix and its correlation with the flaky test category), and difficulties researchers may face in using our dataset to collect additional information (e.g., code coverage) about flaky tests. Our findings show that error information helps identify flaky test categories and guide repairs, that unresolved compilation failures highlight challenges in building legacy projects, and knowing typical fix locations can help prioritize repair efforts.
• Abstract（参考訳）: 不安定なテストは、同じバージョンのコードで実行された場合、非決定的にパスして失敗する。 不安定なテストを検出し、デバッグし、修復するための多くの技術が提案されているが、それらの失敗を再現することは、その固有の非決定性のために大きな課題である。 これらのデータセットは、さまざまなカテゴリのフレキテスト、フレキテストの失敗ログ、開発者によって報告されたフレキテスト、自動ツールが発見したフレキテストなど、独自の情報を提供する。 本研究では,開発者のイシューレポートと一般的なキラキラテストデータセットから収集した,フラキラテストの再現可能なデータセットを作成することを目的とする。 従来のフレキシブルなテストデータセットと比較して、私たちのデータセットは、(1)フレキシブルなテストをコンパイルするための再現可能な環境、(2)失敗を再現するスクリプト、(3)フレキシブルなテスト修正を自動的に適用し、テストがもはやフレキシブルでないことを保証するスクリプト、(4)フレキシブルなテストパスとフェールの実行ログを提供する最初のものです。 提案するReproFlakeは,4つのフレークテストカテゴリにまたがる再現可能なフレークテスト1115のデータセットである。 この再現可能なデータセットに他者が貢献するためのガイドラインを作成し、フレキテスト失敗を再現する際の課題(例えば、以前のフレキテストデータセットを使用する場合、研究者が直面する課題)、特性(例えば、修正位置とフレキテストカテゴリとの相関)、そして、フレキテストに関する追加情報(例えば、コードカバレッジ)を集めるために、研究者がデータセットを使用して直面している困難について、データセットをどのように理解するかを実証する。 この結果から, エラー情報は欠陥のあるテストカテゴリの特定や, 未解決のコンパイル失敗がレガシープロジェクト構築の課題を浮き彫りにし, 典型的な修正箇所を知ることは, 修復作業の優先順位付けに役立てることが示唆された。

関連論文リスト

• Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data [73.19814469893088]
  デジタルツインと学習された世界モデルは、エンジニアリングシステムにおける人工知能(AI)モデルのトレーニングに利用可能な、少ない実際のデータセットを増大させる合成データを生成するために、ますます使われています。 本稿では,拡張データセットのトレーニングが真の,人口レベルのパフォーマンスを向上する一方で,実際のテストデータポイントを可能な限り少なく消費するかどうかを論じる。 合成データ分類タスク、DT支援無線パケットスケジューリングタスク、および無線マップ予測タスクにおいて、aeSFTは平均ベースのシーケンシャルテストよりもはるかに少ない実検サンプルを用いて有用な合成データを識別することを示す。
  論文  参考訳（メタデータ） (2026-08-28T07:05:38Z)
• Flaky Tests in a Large Industrial Database Management System: An Empirical Study of Fixed Issue Reports for SAP HANA [45.467566253448666]
  不安定なテストは、同じバージョンのソースコードに対して複数回実行されると、異なる結果をもたらす。 様々な要因がテストのフレキネスを引き起こすことがある。 不安定なテストを修正するアプローチは、通常、特定の原因に対処するために調整される。
  論文  参考訳（メタデータ） (2026-02-03T14:03:59Z)
• Systemic Flakiness: An Empirical Analysis of Co-Occurring Flaky Test Failures [6.824747267214373]
  不安定なテストは、コードの変更なしに一貫性のない結果をもたらす。 開発者は、毎月2250ドル(約2万5000円)の費用で、不気味なテストの修理に1.28%を費やしている。 フラキーテストは、しばしばクラスタ内に存在し、同じ根本原因を共有する共起失敗は、系統的なフレキネス(systemic flakiness)と呼ばれる。
  論文  参考訳（メタデータ） (2025-04-23T14:51:23Z)
• Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストはコードの変更なしにランダムに失敗する。 テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
  論文  参考訳（メタデータ） (2024-09-16T07:52:09Z)
• Taming Timeout Flakiness: An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストは回帰テストに悪影響を及ぼします。 テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。 テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
  論文  参考訳（メタデータ） (2024-02-07T20:01:41Z)
• 230,439 Test Failures Later: An Empirical Evaluation of Flaky Failure Classifiers [9.45325012281881]
  不安定なテストは、コードの変更がなくても、決定論的にパスまたはフェールできるテストである。 欠陥が原因でテストが失敗したのか、それともバグを検知したのか、どうやって簡単に判断できるのか?
  論文  参考訳（メタデータ） (2024-01-28T22:36:30Z)
• Do Automatic Test Generation Tools Generate Flaky Tests? [12.813573907094074]
  テスト生成ツールが生成するフレキなテストの頻度と性質はほとんど不明である。 EvoSuite(Java)とPynguin(Python)を使ってテストを生成し、各テストは200回実行します。 この結果から, フレキネスは開発者の手書きテストと同様, 生成テストでも一般的であることが判明した。
  論文  参考訳（メタデータ） (2023-10-08T16:44:27Z)
• FlakyFix: Using Large Language Models for Predicting Flaky Test Fix Categories and Test Code Repair [0.5749787074942512]
  不安定なテストは、テスト中の同じソフトウェアバージョンを非決定的にパスまたは失敗するため、問題となる。 本稿では、フレキネスを除去し、それに基づいてテストコードを修正するために必要な修正の種類を予測することに焦点を当てる。 1つの鍵となるアイデアは、予想される修正カテゴリの形で、テストのフレキネスに関するさらなる知識で、修復プロセスを導くことである。
  論文  参考訳（メタデータ） (2023-06-21T19:34:16Z)
• FlaPy: Mining Flaky Python Tests at Scale [14.609208863749831]
  FlaPyは、研究者がテストスイートを再実行することによって、与えられた、あるいは自動的にサンプルされたPythonプロジェクトの集合で、不安定なテストをマイニングするためのフレームワークである。 FlaPyはコンテナ化と新しい実行環境を使用してテスト実行を分離し、実際のCI条件をシミュレートする。 FlaPyはSLURMを使ってテスト実行の並列化をサポートしており、数千のプロジェクトをスキャンしてテストのフレキネスをスキャンすることができる。
  論文  参考訳（メタデータ） (2023-05-08T15:48:57Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。