論文の概要: Debugging Flaky Tests using Spectrum-based Fault Localization
- arxiv url: http://arxiv.org/abs/2305.04735v1
- Date: Mon, 8 May 2023 14:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:53:45.044200
- Title: Debugging Flaky Tests using Spectrum-based Fault Localization
- Title（参考訳）: スペクトルに基づくフォールトローカライズを用いたデバッグフラックテスト
- Authors: Martin Gruber, Gordon Fraser
- Abstract要約: 不安定なテストは、信頼と無駄な計算と人的資源を破壊するため、回帰テストを妨げます。
本稿では、従来のカバレッジベースのSFLの拡張であるSFFL(Spectrum-based Flaky Fault Localization)を紹介する。
48のオープンソースPythonプロジェクトから得られた101の不安定なテストの評価は、SFFLが有効であることを示している。
- 参考スコア（独自算出の注目度）: 14.609208863749831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-deterministically behaving (i.e., flaky) tests hamper regression testing
as they destroy trust and waste computational and human resources. Eradicating
flakiness in test suites is therefore an important goal, but automated
debugging tools are needed to support developers when trying to understand the
causes of flakiness. A popular example for an automated approach to support
regular debugging is spectrum-based fault localization (SFL), a technique that
identifies software components that are most likely the causes of failures.
While it is possible to also apply SFL for locating likely sources of flakiness
in code, unfortunately the flakiness makes SFL both imprecise and
non-deterministic. In this paper we introduce SFFL (Spectrum-based Flaky Fault
Localization), an extension of traditional coverage-based SFL that exploits our
observation that 80% of flaky tests exhibit varying coverage behavior between
different runs. By distinguishing between stable and flaky coverage, SFFL is
able to locate the sources of flakiness more precisely and keeps the
localization itself deterministic. An evaluation on 101 flaky tests taken from
48 open-source Python projects demonstrates that SFFL is effective: Of five
prominent SFL formulas, DStar, Ochiai, and Op2 yield the best overall
performance. On average, they are able to narrow down the fault's location to
3.5 % of the project's code base, which is 18.7 % better than traditional SFL
(for DStar). SFFL's effectiveness, however, depends on the root causes of
flakiness: The source of non-order-dependent flaky tests can be located far
more precisely than order-dependent faults.
- Abstract（参考訳）: 非決定的な振る舞い(すなわち、フレキな)テストは、信頼と無駄な計算と人的資源を破壊するために回帰テストを妨げる。
テストスイートのフラキネスを根絶することは重要な目標であるが、フラキネスの原因を理解するために開発者をサポートするには、自動デバッグツールが必要である。
定期的なデバッグをサポートする自動化アプローチの一般的な例として、スペクトルベースの障害ローカライゼーション(SFL)がある。
コード中のフレキネスの可能性のあるソースを見つけるためにSFLを適用することもできるが、残念ながら、このフレキネスはSFLを不正確かつ非決定論的にする。
本稿では,従来のカバレッジベースsflの拡張であるsffl(spectrum-based flaky fault localization)について紹介する。
安定度とフレキ度を区別することにより、SFFLはフレキネスの源をより正確に見つけ、局在自体を決定論的に維持することができる。
48のオープンソースPythonプロジェクトから採取された101の不安定なテストの評価では、SFFLが有効であることが示されている。
平均して、彼らはフォールトの位置をプロジェクトのコードベースの3.5%まで絞り込むことができ、これは従来のSFL(DStar)よりも18.7%良い。
しかし、sfflの有効性はフラキネスの根本原因に依存する: 非順序依存のフラキテストの原因は、順序依存の障害よりもずっと正確に配置できる。
関連論文リスト
- FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion [48.90879664138855]
ワンショットフェデレートラーニング(OFL)は、訓練されたモデルを1回だけ集約することで、FLにおける通信コストを大幅に削減する。
しかし、高度なOFL法の性能は通常のFLよりもはるかに遅れている。
本稿では,FuseFL と呼ばれる,高い性能と低通信・ストレージコストを有する新しい学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-27T09:07:10Z) - Leveraging Stack Traces for Spectrum-based Fault Localization in the Absence of Failing Tests [44.13331329339185]
我々は,スタックトレースデータをテストカバレッジと統合し,障害局所化を強化する新しいアプローチであるSBESTを導入する。
提案手法では,平均精度(MAP)が32.22%向上し,平均相互ランク(MRR)が17.43%向上した。
論文 参考訳（メタデータ） (2024-05-01T15:15:52Z) - A Generic Approach to Fix Test Flakiness in Real-World Projects [7.122378689356857]
FlakyDoctorは、LLMのパワーとプログラム分析音を組み合わせて、さまざまな種類のテストフレキネスを修復する、ニューロシンボリックなテクニックである。
3つの代替フレキネス修復アプローチと比較して、FrakyDoctorはDexFixよりも8%多いIDテスト、ODより12%多いODフレキテスト、iFixFlakiesより17%多いODフレキテストが可能である。
論文 参考訳（メタデータ） (2024-04-15T01:07:57Z) - A Quantitative and Qualitative Evaluation of LLM-Based Explainable Fault Localization [12.80414941523501]
AutoFLは、提案された障害位置とともに、バグの説明を生成する。
JavaとPythonの798の現実世界のバグの実験では、AutoFLはメソッドレベルのcc@1を、ベースライン上で最大233.3%改善した。
論文 参考訳（メタデータ） (2023-08-10T10:26:55Z) - Improving Spectrum-Based Localization of Multiple Faults by Iterative
Test Suite Reduction [0.30458514384586394]
本稿では,複数の断層が存在する場合の基準距離の局所化を改善する新しいSBFL拡張であるFLITSRを提案する。
3つのスペクトルタイプすべてに対して、最高のベースメトリックよりも30%-90%の、異なる断層レベルで平均的な無駄な労力が大幅に削減される。
メソッドレベルの実障害に対しては、FLITSRは、最先端の学習ベースの障害ローカライザであるGRACEを著しく上回っている。
論文 参考訳（メタデータ） (2023-06-16T15:00:40Z) - Revisiting Personalized Federated Learning: Robustness Against Backdoor
Attacks [53.81129518924231]
pFLフレームワークにおけるバックドア攻撃の最初の研究を行う。
モデル共有部分を持つpFL法は,バックドア攻撃に対するロバスト性を大幅に向上させることができることを示す。
本稿では,バックドア攻撃に対する防御性能を実証的に向上する軽量防御手法Simple-Tuningを提案する。
論文 参考訳（メタデータ） (2023-02-03T11:58:14Z) - Rethinking Normalization Methods in Federated Learning [92.25845185724424]
フェデレートラーニング(FL)は、プライベートデータを明示的に共有しないことでプライバシーリスクを低減できる人気のある分散ラーニングフレームワークである。
我々は、外部共変量シフトが、世界モデルに対する一部のデバイスからの貢献の消滅につながることを示した。
論文 参考訳（メタデータ） (2022-10-07T01:32:24Z) - DistFL: Distribution-aware Federated Learning for Mobile Scenarios [14.638070213182655]
フェデレートラーニング(FL)は、モバイルクライアントのための分散型およびプライバシ保護機械学習の効果的なソリューションとして登場した。
自動かつ正確なtextbfDistrib-aware textbfFederated textbfLution を実現するための新しいフレームワークである textbfDistFL を提案する。
論文 参考訳（メタデータ） (2021-10-22T06:58:48Z) - Improving Semi-supervised Federated Learning by Reducing the Gradient
Diversity of Models [67.66144604972052]
Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。
テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。
本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
論文 参考訳（メタデータ） (2020-08-26T03:36:07Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。