論文の概要: FlaKat: A Machine Learning-Based Categorization Framework for Flaky Tests

• arxiv url: http://arxiv.org/abs/2403.01003v1
• Date: Fri, 1 Mar 2024 22:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 15:36:59.557336
• Title: FlaKat: A Machine Learning-Based Categorization Framework for Flaky Tests
• Title（参考訳）: FlaKat: フレキテストのための機械学習ベースの分類フレームワーク
• Authors: Shizhe Lin, Ryan Zheng He Liu, Ladan Tahvildari
• Abstract要約: 不安定なテストは、ソフトウェアシステムに変更を加えることなく、非決定的に通過または失敗する可能性がある。 State-of-the-art Researchは、機械学習ソリューションを不安定なテスト検出に取り入れ、合理的に優れた精度を達成する。
• 参考スコア（独自算出の注目度）: 3.0846824529023382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flaky tests can pass or fail non-deterministically, without alterations to a software system. Such tests are frequently encountered by developers and hinder the credibility of test suites. State-of-the-art research incorporates machine learning solutions into flaky test detection and achieves reasonably good accuracy. Moreover, the majority of automated flaky test repair solutions are designed for specific types of flaky tests. This research work proposes a novel categorization framework, called FlaKat, which uses machine-learning classifiers for fast and accurate prediction of the category of a given flaky test that reflects its root cause. Sampling techniques are applied to address the imbalance between flaky test categories in the International Dataset of Flaky Test (IDoFT). A new evaluation metric, called Flakiness Detection Capacity (FDC), is proposed for measuring the accuracy of classifiers from the perspective of information theory and provides proof for its effectiveness. The final FDC results are also in agreement with F1 score regarding which classifier yields the best flakiness classification.
• Abstract（参考訳）: 不安定なテストは、ソフトウェアシステムに変更を加えることなく、非決定的に通過または失敗する可能性がある。 このようなテストは開発者が頻繁に遭遇し、テストスイートの信頼性を妨げる。 State-of-the-art Researchは、機械学習ソリューションを不安定なテスト検出に取り入れ、合理的に優れた精度を達成する。 さらに、自動化フレークテスト修理ソリューションの大部分は、特定の種類のフレークテスト用に設計されている。 この研究は、機械学習分類器を使用して、その根本原因を反映したフレキテストのカテゴリを高速かつ正確に予測する新しい分類フレームワークであるFraKatを提案する。 IFT(International Dataset of Flaky Test)におけるフレキテストカテゴリ間の不均衡に,サンプリング手法を適用した。 情報理論の観点から分類器の精度を測定するためにfdc(flakiness detection capacity)と呼ばれる新しい評価指標を提案し,その有効性の証明を提供する。 最終FDC結果は、どの分類器が最良のフレキネス分類をもたらすかに関するF1スコアとも一致している。

関連論文リスト

• An Analysis of LLM Fine-Tuning and Few-Shot Learning for Flaky Test Detection and Classification [1.9336815376402723]
  燃えるようなテストは実行中に非決定的な振る舞いを示す。 テストの振る舞いの多様性のため、燃えるようなテストの検出と分類は難しい。
  論文  参考訳（メタデータ） (2025-02-04T20:54:51Z)
• Automatically Learning a Precise Measurement for Fault Diagnosis Capability of Test Cases [21.276670659232284]
  本稿では,強化学習によるテストのFDC値の予測を行う,結果に依存しない新たな指標 RLFDC を提案する。 特に、FL結果を報奨信号として扱い、直接FLフィードバックでFDC予測モデルを訓練し、より正確な測定結果を自動的に学習する。
  論文  参考訳（メタデータ） (2025-01-04T07:16:49Z)
• A Hybrid Framework for Statistical Feature Selection and Image-Based Noise-Defect Detection [55.2480439325792]
  本稿では,統計的特徴選択と分類技術を統合し,欠陥検出精度を向上させるハイブリッドフレームワークを提案する。 工業画像から抽出した55個の特徴を統計的手法を用いて解析した。 これらの手法をフレキシブルな機械学習アプリケーションに統合することにより、検出精度を改善し、偽陽性や誤分類を減らす。
  論文  参考訳（メタデータ） (2024-12-11T22:12:21Z)
• FlakyFix: Using Large Language Models for Predicting Flaky Test Fix Categories and Test Code Repair [0.5749787074942512]
  不安定なテストは、テスト中の同じソフトウェアバージョンを非決定的にパスまたは失敗するため、問題となる。 本稿では、フレキネスを除去し、それに基づいてテストコードを修正するために必要な修正の種類を予測することに焦点を当てる。 1つの鍵となるアイデアは、予想される修正カテゴリの形で、テストのフレキネスに関するさらなる知識で、修復プロセスを導くことである。
  論文  参考訳（メタデータ） (2023-06-21T19:34:16Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [117.72709110877939]
  テスト時間適応(TTA)は、事前訓練されたモデルをテスト中に、予測する前にラベルのないデータに適応する可能性がある。 TTAはテスト時間領域適応、テスト時間バッチ適応、オンラインテスト時間適応といったテストデータの形態に基づいて、いくつかの異なるグループに分類される。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• On the use of test smells for prediction of flaky tests [0.0]
  不安定な検査は 検査結果の評価を妨げ コストを増大させる 既存のテストケース語彙の使用に基づくアプローチは、文脈に敏感であり、過度に適合する傾向がある。 フレキな検査の予測因子として, 試験臭の使用について検討した。
  論文  参考訳（メタデータ） (2021-08-26T13:21:55Z)
• What is the Vocabulary of Flaky Tests? An Extended Replication [0.0]
  本研究は,コード識別子を用いたテストフレキネスの予測に関する実証的研究である。 トレーニング済みモデルのパフォーマンスを他のフラスコテストと異なるプロジェクトからデータセットを使用して検証しました。
  論文  参考訳（メタデータ） (2021-03-23T16:42:22Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。