論文の概要: Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis
- arxiv url: http://arxiv.org/abs/2410.23578v1
- Date: Thu, 31 Oct 2024 02:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:03:34.546093
- Title: Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis
- Title（参考訳）: 量子ソフトウェアメンテナンスの自動化 - フレキネス検出と根本原因解析
- Authors: Janakan Sivaloganathan, Ainaz Jamshidi, Andriy Miranskyy, Lei Zhang,
- Abstract要約: コードの変更なしに不整合に合格または失敗する、不安定なテストは、ソフトウェア工学における大きな課題である。
量子ソフトウェアにおける不安定なテストを自動的に検出するフレームワークの構築を目指しています。
- 参考スコア（独自算出の注目度）: 4.554856650068748
- License:
- Abstract: Flaky tests, which pass or fail inconsistently without code changes, are a major challenge in software engineering in general and in quantum software engineering in particular due to their complexity and probabilistic nature, leading to hidden issues and wasted developer effort. We aim to create an automated framework to detect flaky tests in quantum software and an extended dataset of quantum flaky tests, overcoming the limitations of manual methods. Building on prior manual analysis of 14 quantum software repositories, we expanded the dataset and automated flaky test detection using transformers and cosine similarity. We conducted experiments with Large Language Models (LLMs) from the OpenAI GPT and Meta LLaMA families to assess their ability to detect and classify flaky tests from code and issue descriptions. Embedding transformers proved effective: we identified 25 new flaky tests, expanding the dataset by 54%. Top LLMs achieved an F1-score of 0.8871 for flakiness detection but only 0.5839 for root cause identification. We introduced an automated flaky test detection framework using machine learning, showing promising results but highlighting the need for improved root cause detection and classification in large quantum codebases. Future work will focus on improving detection techniques and developing automatic flaky test fixes.
- Abstract（参考訳）: コードの変更なしに不整合に合格または失敗する不安定なテストは、ソフトウェア工学全般、特に量子ソフトウェア工学において、その複雑さと確率的な性質のために大きな課題であり、隠れた問題や開発者の努力を無駄にしている。
我々は、量子ソフトウェアにおけるフレキテストを自動的に検出するフレームワークと、手動メソッドの制限を克服して、量子フレキテストの拡張データセットを作成することを目指している。
14の量子ソフトウェアリポジトリの以前の手動解析に基づいて、トランスフォーマーとコサイン類似性を用いたデータセットと自動フレキテスト検出を拡張した。
我々は,OpenAI GPTおよびMeta LLaMAファミリーのLarge Language Models (LLMs) を用いて,コードから不安定なテストを検出して分類し,記述を発行する能力を評価する実験を行った。
組込みトランスは有効であり,25種類のフレキな試験を行い,データセットを54%拡張した。
トップ LLM はフレキネス検出では 0.8871 の F1 スコアを達成したが、根本原因同定では 0.5839 しか得られなかった。
機械学習を用いた自動フレキテスト検出フレームワークを導入し、有望な結果を示すとともに、大規模な量子コードベースにおける根本原因の検出と分類の改善の必要性を強調した。
今後の作業は、検出技術の改善と自動フレキシブルなテスト修正の開発に注力する予定である。
関連論文リスト
- AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z) - FuzzTheREST: An Intelligent Automated Black-box RESTful API Fuzzer [0.0]
この作業では、脆弱性検出にReinforcement Learning(RL)を使用しているファジィテストツールのブラックボックスAPIを導入している。
このツールは6つのユニークな脆弱性を発見し、55%のコードカバレッジを達成した。
論文 参考訳（メタデータ） (2024-07-19T14:43:35Z) - Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。
このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。
当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
論文 参考訳（メタデータ） (2024-06-11T09:21:50Z) - FlaKat: A Machine Learning-Based Categorization Framework for Flaky
Tests [3.0846824529023382]
不安定なテストは、ソフトウェアシステムに変更を加えることなく、非決定的に通過または失敗する可能性がある。
State-of-the-art Researchは、機械学習ソリューションを不安定なテスト検出に取り入れ、合理的に優れた精度を達成する。
論文 参考訳（メタデータ） (2024-03-01T22:00:44Z) - Identifying Flakiness in Quantum Programs [5.592360872268223]
14の量子ソフトウェアリポジトリのうち12つで、不安定なテストが見られます。
8つの原因群と7つの共通解を持つ46の異なるフレキ試験報告を同定した。
この研究は、量子プログラムにおけるフレキなテストの解決に関する有益な洞察を提供するため、実践者に興味を持つかもしれない。
論文 参考訳（メタデータ） (2023-02-07T04:55:34Z) - Validation tests of GBS quantum computers give evidence for quantum
advantage with a decoherent target [62.997667081978825]
複数モードデータの検証に指紋としてグループカウント確率の正P位相空間シミュレーションを用いる。
偽データを解き放つ方法を示し、これを古典的なカウントアルゴリズムに適用する。
論文 参考訳（メタデータ） (2022-11-07T12:00:45Z) - Experimental benchmarking of an automated deterministic error
suppression workflow for quantum algorithms [0.0]
量子コンピュータの約束に関する引用は、ハードウェアが例外的に脆弱でエラーを起こしやすいという現実に誘惑されている。
我々は、ゲートレベルから回路実行および測定まで、量子アルゴリズムのエラーを決定論的に抑制するために設計された完全に自律的なワークフローを記述し、実験的にテストする。
論文 参考訳（メタデータ） (2022-09-14T18:23:17Z) - SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video
Games Using Risk Based Testing and Machine Learning [62.997667081978825]
従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。
自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。
この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
論文 参考訳（メタデータ） (2022-03-10T00:47:46Z) - DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly
detection in air transportation [68.8204255655161]
識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。
通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。
その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-09-08T14:07:55Z) - What is the Vocabulary of Flaky Tests? An Extended Replication [0.0]
本研究は,コード識別子を用いたテストフレキネスの予測に関する実証的研究である。
トレーニング済みモデルのパフォーマンスを他のフラスコテストと異なるプロジェクトからデータセットを使用して検証しました。
論文 参考訳（メタデータ） (2021-03-23T16:42:22Z) - Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。
ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
論文 参考訳（メタデータ） (2021-03-08T10:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。