論文の概要: FlakyFix: Using Large Language Models for Predicting Flaky Test Fix
Categories and Test Code Repair
- arxiv url: http://arxiv.org/abs/2307.00012v2
- Date: Mon, 29 Jan 2024 16:28:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 22:33:25.595059
- Title: FlakyFix: Using Large Language Models for Predicting Flaky Test Fix
Categories and Test Code Repair
- Title(参考訳): flakyfix: 大規模な言語モデルを使用したテスト修正カテゴリの予測とテストコードの修正
- Authors: Sakina Fatima, Hadi Hemmati, Lionel Briand
- Abstract要約: 不安定なテストは、テスト中の同じソフトウェアバージョンを非決定的にパスまたは失敗するため、問題となる。
本稿では,ラベル付きデータセットを13の修正カテゴリに自動生成するフレームワークを提案し,フレキなテストの修正カテゴリを予測するためにモデルを訓練する。
コードモデルと数ショットの学習を用いた実験結果から,修正カテゴリのほとんどを正確に予測できることが判明した。
- 参考スコア(独自算出の注目度): 0.628122931748758
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flaky tests are problematic because they non-deterministically pass or fail
for the same software version under test, causing confusion and wasting
development effort. While machine learning models have been used to predict
flakiness and its root causes, there is much less work on providing support to
fix the problem. To address this gap, in this paper, we focus on predicting the
type of fix that is required to remove flakiness and then repair the test code
on that basis. We do this for a subset of flaky test cases where the root cause
of flakiness is in the test case itself and not in the production code. Our key
idea is to guide the repair process with additional knowledge about the test's
flakiness in the form of its predicted fix category. Thus, we first propose a
framework that automatically generates labeled datasets for 13 fix categories
and trains models to predict the fix category of a flaky test by analyzing the
test code only. Our experimental results using code models and few-shot
learning show that we can correctly predict most of the fix categories. To show
the usefulness of such fix category labels for automatically repairing
flakiness, in addition to informing testers, we augment a Large Language Model
(LLM) like GPT with such extra knowledge to ask the LLM for repair suggestions.
The results show that our suggested fix category labels significantly enhance
the capability of GPT 3.5 Turbo, in generating fixes for flaky tests.
- Abstract(参考訳): 不安定なテストは、非決定的に同じソフトウェアバージョンをテスト中にパスまたは失敗し、混乱と開発労力の浪費を引き起こすため、問題となる。
機械学習モデルは、フレキネスとその根本原因を予測するために使われてきたが、問題を修正するためのサポートを提供する作業は、はるかに少ない。
このギャップに対処するため,本稿では,フレキネスを取り除き,それに基づいてテストコードを修正するために必要な修正の種類を予測することに注力する。
これは、フレキネスの根本原因がテストケース自身にあり、本番コードにはない、不安定なテストケースのサブセットに対して行います。
私たちのキーとなるアイデアは、予測された修正カテゴリの形で、テストのフレキネスに関するさらなる知識で、修復プロセスを導くことです。
そこで我々はまず,13の修正カテゴリのラベル付きデータセットを自動的に生成するフレームワークを提案し,テストコードのみを解析することにより,フレークテストの修正カテゴリを予測するモデルを訓練する。
コードモデルと少数の学習を用いた実験結果から,修正カテゴリのほとんどを正確に予測できることがわかった。
このような修正カテゴリラベルの有用性を示すために,テスト担当者に通知することに加えて,gptのような大規模言語モデル(llm)を補修提案をllmに依頼する余分な知識とともに強化する。
提案する固定カテゴリラベルは, GPT 3.5 Turbo のフレークテストの修正における性能を著しく向上することを示した。
関連論文リスト
- FlaKat: A Machine Learning-Based Categorization Framework for Flaky
Tests [3.0846824529023382]
不安定なテストは、ソフトウェアシステムに変更を加えることなく、非決定的に通過または失敗する可能性がある。
State-of-the-art Researchは、機械学習ソリューションを不安定なテスト検出に取り入れ、合理的に優れた精度を達成する。
論文 参考訳(メタデータ) (2024-03-01T22:00:44Z) - GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech
Detection? [55.20381279291041]
HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。
GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。
クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
論文 参考訳(メタデータ) (2024-02-23T10:02:01Z) - Automatic Generation of Test Cases based on Bug Reports: a Feasibility
Study with Large Language Models [4.318319522015101]
既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。
ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。
大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
論文 参考訳(メタデータ) (2023-10-10T05:30:12Z) - Patch Space Exploration using Static Analysis Feedback [8.13782364161157]
静的解析を利用して、メモリの安全性問題を自動的に修復する方法を示す。
提案したアプローチは、バグを修正するためのパッチの近さを検査することで、望ましいパッチが何であるかを学習する。
我々は,印字ヒープに対する影響に応じて等価パッチのクラスを作成し,そのクラスのパッチ等価度に対してのみ検証オラクルを呼び出すことにより,修復をスケーラブルにする。
論文 参考訳(メタデータ) (2023-08-01T05:22:10Z) - Zero-shot Model Diagnosis [80.36063332820568]
ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。
本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
論文 参考訳(メタデータ) (2023-03-27T17:59:33Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - A Principled Approach to Failure Analysis and Model Repairment:
Demonstration in Medical Imaging [12.732665048388041]
マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。
私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。
そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。
我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
論文 参考訳(メタデータ) (2021-09-25T12:04:19Z) - Break-It-Fix-It: Unsupervised Learning for Program Repair [90.55497679266442]
我々は2つの重要なアイデアを持つ新しいトレーニング手法であるBreak-It-Fix-It (BIFI)を提案する。
批判者は、実際の悪い入力でフィクスダーの出力をチェックし、トレーニングデータに良い(固定された)出力を追加する。
これらのアイデアに基づいて、よりペア化されたデータを生成するために、ブレーカとフィクスチャを同時に使用しながら、繰り返し更新する。
BIFIは既存のメソッドより優れており、GitHub-Pythonで90.5%、DeepFixで71.7%の修正精度がある。
論文 参考訳(メタデータ) (2021-06-11T20:31:04Z) - What is the Vocabulary of Flaky Tests? An Extended Replication [0.0]
本研究は,コード識別子を用いたテストフレキネスの予測に関する実証的研究である。
トレーニング済みモデルのパフォーマンスを他のフラスコテストと異なるプロジェクトからデータセットを使用して検証しました。
論文 参考訳(メタデータ) (2021-03-23T16:42:22Z) - Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。
そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
論文 参考訳(メタデータ) (2020-10-23T08:33:04Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。