論文の概要: Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis

• arxiv url: http://arxiv.org/abs/2410.23578v1
• Date: Thu, 31 Oct 2024 02:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:03:34.546093
• Title: Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis
• Title（参考訳）: 量子ソフトウェアメンテナンスの自動化 - フレキネス検出と根本原因解析
• Authors: Janakan Sivaloganathan, Ainaz Jamshidi, Andriy Miranskyy, Lei Zhang,
• Abstract要約: コードの変更なしに不整合に合格または失敗する、不安定なテストは、ソフトウェア工学における大きな課題である。 量子ソフトウェアにおける不安定なテストを自動的に検出するフレームワークの構築を目指しています。
• 参考スコア（独自算出の注目度）: 4.554856650068748
• License:
• Abstract: Flaky tests, which pass or fail inconsistently without code changes, are a major challenge in software engineering in general and in quantum software engineering in particular due to their complexity and probabilistic nature, leading to hidden issues and wasted developer effort. We aim to create an automated framework to detect flaky tests in quantum software and an extended dataset of quantum flaky tests, overcoming the limitations of manual methods. Building on prior manual analysis of 14 quantum software repositories, we expanded the dataset and automated flaky test detection using transformers and cosine similarity. We conducted experiments with Large Language Models (LLMs) from the OpenAI GPT and Meta LLaMA families to assess their ability to detect and classify flaky tests from code and issue descriptions. Embedding transformers proved effective: we identified 25 new flaky tests, expanding the dataset by 54%. Top LLMs achieved an F1-score of 0.8871 for flakiness detection but only 0.5839 for root cause identification. We introduced an automated flaky test detection framework using machine learning, showing promising results but highlighting the need for improved root cause detection and classification in large quantum codebases. Future work will focus on improving detection techniques and developing automatic flaky test fixes.
• Abstract（参考訳）: コードの変更なしに不整合に合格または失敗する不安定なテストは、ソフトウェア工学全般、特に量子ソフトウェア工学において、その複雑さと確率的な性質のために大きな課題であり、隠れた問題や開発者の努力を無駄にしている。 我々は、量子ソフトウェアにおけるフレキテストを自動的に検出するフレームワークと、手動メソッドの制限を克服して、量子フレキテストの拡張データセットを作成することを目指している。 14の量子ソフトウェアリポジトリの以前の手動解析に基づいて、トランスフォーマーとコサイン類似性を用いたデータセットと自動フレキテスト検出を拡張した。 我々は,OpenAI GPTおよびMeta LLaMAファミリーのLarge Language Models (LLMs) を用いて,コードから不安定なテストを検出して分類し,記述を発行する能力を評価する実験を行った。 組込みトランスは有効であり,25種類のフレキな試験を行い,データセットを54%拡張した。 トップ LLM はフレキネス検出では 0.8871 の F1 スコアを達成したが、根本原因同定では 0.5839 しか得られなかった。 機械学習を用いた自動フレキテスト検出フレームワークを導入し、有望な結果を示すとともに、大規模な量子コードベースにおける根本原因の検出と分類の改善の必要性を強調した。 今後の作業は、検出技術の改善と自動フレキシブルなテスト修正の開発に注力する予定である。

関連論文リスト

• Identifying Flaky Tests in Quantum Code: A Machine Learning Approach [5.323578182914324]
  量子システムの基本的な特徴である不確定性は、量子プログラムにおけるフレキテストの可能性を高める。 量子プログラムにおけるフレキなテストを自動的に検出するために,複数の機械学習モデルを活用する,新しい機械学習プラットフォームを提案する。
  論文  参考訳（メタデータ） (2025-02-06T19:43:51Z)
• What You See Is What You Get: Attention-based Self-guided Automatic Unit Test Generation [3.8244417073114003]
  本稿では,AUGER(Attention-based Self-guided Automatic Unit Test GenERation)アプローチを提案する。 AUGERには欠陥検出とエラートリガーという2つのステージがある。 F1スコアと欠陥検出精度で4.7%から35.3%向上した。 ユニットテスト生成において、最先端(SOTA)アプローチよりも23から84のエラーを発生させることができる。
  論文  参考訳（メタデータ） (2024-12-01T14:28:48Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Leveraging Large Language Models for Efficient Failure Analysis in Game Development [47.618236610219554]
  本稿では,テストの失敗の原因となるコードの変更を自動的に識別する手法を提案する。 このメソッドは、LLM(Large Language Models)を利用して、エラーメッセージと対応するコード変更を関連付ける。 当社のアプローチは新たに作成したデータセットで71%の精度に達しています。
  論文  参考訳（メタデータ） (2024-06-11T09:21:50Z)
• Quantum Patch-Based Autoencoder for Anomaly Segmentation [44.99833362998488]
  画像の異常セグメンテーションのためのパッチベースの量子オートエンコーダ(QPB-AE)を提案する。 QPB-AEは、組み込まれた入力パッチの量子状態を再構成し、測定から直接異常マップを計算する。 複数のデータセットとパラメータ構成でその性能を評価する。
  論文  参考訳（メタデータ） (2024-04-26T08:42:58Z)
• FlaKat: A Machine Learning-Based Categorization Framework for Flaky Tests [3.0846824529023382]
  不安定なテストは、ソフトウェアシステムに変更を加えることなく、非決定的に通過または失敗する可能性がある。 State-of-the-art Researchは、機械学習ソリューションを不安定なテスト検出に取り入れ、合理的に優れた精度を達成する。
  論文  参考訳（メタデータ） (2024-03-01T22:00:44Z)
• Identifying Flakiness in Quantum Programs [5.592360872268223]
  14の量子ソフトウェアリポジトリのうち12つで、不安定なテストが見られます。 8つの原因群と7つの共通解を持つ46の異なるフレキ試験報告を同定した。 この研究は、量子プログラムにおけるフレキなテストの解決に関する有益な洞察を提供するため、実践者に興味を持つかもしれない。
  論文  参考訳（メタデータ） (2023-02-07T04:55:34Z)
• Validation tests of GBS quantum computers give evidence for quantum advantage with a decoherent target [62.997667081978825]
  複数モードデータの検証に指紋としてグループカウント確率の正P位相空間シミュレーションを用いる。 偽データを解き放つ方法を示し、これを古典的なカウントアルゴリズムに適用する。
  論文  参考訳（メタデータ） (2022-11-07T12:00:45Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• What is the Vocabulary of Flaky Tests? An Extended Replication [0.0]
  本研究は,コード識別子を用いたテストフレキネスの予測に関する実証的研究である。 トレーニング済みモデルのパフォーマンスを他のフラスコテストと異なるプロジェクトからデータセットを使用して検証しました。
  論文  参考訳（メタデータ） (2021-03-23T16:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。