論文の概要: Automating Detection and Root-Cause Analysis of Flaky Tests in Quantum Software
- arxiv url: http://arxiv.org/abs/2603.09029v1
- Date: Mon, 09 Mar 2026 23:57:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:23.902892
- Title: Automating Detection and Root-Cause Analysis of Flaky Tests in Quantum Software
- Title（参考訳）: 量子ソフトウェアにおけるフレーク試験の自動検出とルートカス解析
- Abstract要約: 本稿では,量子ソフトウェアリポジトリにおけるフレキシブルテスト関連の問題とプルリクエストを検出する自動パイプラインを提案する。
我々は、既存の量子フレキテストデータセットを拡張し、フレキネス分類と根本原因同定のための大規模言語モデルの性能を評価する。
最高のパフォーマンスモデルであるGoogle Geminiは、フレキネス検出のためのF1スコア0.9420、根本原因同定のための0.9643を達成している。
- 参考スコア（独自算出の注目度）: 3.853925623717688
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Like classical software, quantum software systems rely on automated testing. However, their inherently probabilistic outputs make them susceptible to quantum flakiness -- tests that pass or fail inconsistently without code changes. Such quantum flaky tests can mask real defects and reduce developer productivity, yet systematic tooling for their detection and diagnosis remains limited. This paper presents an automated pipeline to detect flaky-test-related issues and pull requests in quantum software repositories and to support the identification of their root causes. We aim to expand an existing quantum flaky test dataset and evaluate the capability of Large Language Models (LLMs) for flakiness classification and root-cause identification. Building on a prior manual analysis of 14 quantum software repositories, we automate the discovery of additional flaky test cases using LLMs and cosine similarity. We further evaluate a variety of LLMs from OpenAI GPT, Meta LLaMA, Google Gemini, and Anthropic Claude suites for classifying flakiness and identifying root causes from issue descriptions and code context. Classification performance is assessed using standard performance metrics, including F1-score. Using our pipeline, we identify 25 previously unknown flaky tests, increasing the original dataset size by 54%. The best-performing model, Google Gemini, achieves an F1-score of 0.9420 for flakiness detection and 0.9643 for root-cause identification, demonstrating that LLMs can provide practical support for triaging flaky reports and understanding their underlying causes in quantum software. The expanded dataset and automated pipeline provide reusable artifacts for the quantum software engineering community. Future work will focus on improving detection robustness and exploring automated repair of quantum flaky tests.
- Abstract（参考訳）: 古典的ソフトウェアと同様に、量子ソフトウェアシステムは自動テストに依存している。
しかし、その本質的に確率的なアウトプットは、コードの変更なしに不整合に通過または失敗する、量子フレキネス(quantum flakiness)の影響を受けやすい。
このような量子フレキテストは、実際の欠陥を隠蔽し、開発者の生産性を低下させるが、検出と診断のための体系的なツールはまだ限られている。
本稿では,量子ソフトウェアリポジトリにおけるフレキテスト関連問題とプルリクエストの検出と,その根本原因の同定を支援するための自動パイプラインを提案する。
我々は、既存の量子フレキテストデータセットを拡張し、フレキネス分類と根源同定のためのLarge Language Models(LLMs)の能力を評価することを目指している。
14の量子ソフトウェアリポジトリの以前の手動解析に基づいて、LSMとコサイン類似性を用いて、さらなるフレキなテストケースの発見を自動化する。
さらに,OpenAI GPT, Meta LLaMA, Google Gemini, Anthropic Claude スイートから,フレキネスを分類し,問題記述やコードコンテキストから根本原因を特定するための様々な LLM の評価を行った。
分類性能は、F1スコアを含む標準的なパフォーマンス指標を使用して評価される。
パイプラインを使用して25の未知のフレキテストを特定し、元のデータセットサイズを54%増加させました。
最高のパフォーマンスモデルであるGoogle Geminiは、フレキネス検出のためのF1スコア0.9420、根本原因同定のための0.9643を達成し、LLMがフレキなレポートをトリアージし、量子ソフトウェアにおける彼らの根本原因を理解するための実用的なサポートを提供できることを示した。
拡張されたデータセットと自動パイプラインは、量子ソフトウェアエンジニアリングコミュニティのための再利用可能なアーティファクトを提供する。
今後の研究は、検出の堅牢性を改善し、量子フレキテストの自動修復を探求することに集中する。
関連論文リスト
- GroverFigureOfMerit: An Agnostic Figure of Merit for Quantum Backend Characterization in the NISQ Era [41.99844472131922]
本稿では,Groverのアルゴリズムに基づくメリットのフィギュアを,量子バックエンド性能を均等に評価するアルゴリズム的ストレステストとして提案する。
この計量は、目標状態の成功確率と、非一様増幅と非マーク状態へのリークに対する罰則を組み合わせ、ハードウェアアーキテクチャ全体で統一されたスコアを得る。
論文 参考訳（メタデータ） (2026-07-09T16:08:48Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - VIBEPASS: Can Vibe Coders Really Pass the Vibe Check? [46.85901599242161]
emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。
故障対象推論は一般的な符号化能力ではスケールしないことがわかった。
自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
論文 参考訳（メタデータ） (2026-03-16T21:14:28Z) - DeepFix: Debugging and Fixing Machine Learning Workflow using Agentic AI [0.0]
DeepFixはエージェントAIフレームワークを使用して、マシンラーニングパイプライン全体を自動テストするツールである。
私たちのテストアプローチは、まずDeepchecksを活用して、潜在的なバグに対するMLソフトウェアのテストを行い、その後、エージェントAIベースのアプローチを使用して詳細なバグレポートを生成する。
これには、見つかったバグの深刻度に基づくランキングと、その説明が含まれており、非データサイエンスの専門家によって容易に解釈できる。
論文 参考訳（メタデータ） (2026-03-14T20:00:16Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Detecting Flaky Tests in Quantum Software: A Dynamic Approach [4.46640294257026]
コードや環境の変更なしに非決定的に通過または失敗する不安定なテストは、ソフトウェアの信頼性に深刻な脅威をもたらす。
本稿では,量子ソフトウェアにおけるフレキテストの大規模動的評価について述べる。
コントロールされた環境で、23リリースにまたがって1万回のQiskit Terraテストスイートを実行しました。
論文 参考訳（メタデータ） (2025-12-19T21:47:31Z) - Identifying Flaky Tests in Quantum Code: A Machine Learning Approach [5.323578182914324]
量子システムの基本的な特徴である不確定性は、量子プログラムにおけるフレキテストの可能性を高める。
量子プログラムにおけるフレキなテストを自動的に検出するために,複数の機械学習モデルを活用する,新しい機械学習プラットフォームを提案する。
論文 参考訳（メタデータ） (2025-02-06T19:43:51Z) - Automating Quantum Software Maintenance: Flakiness Detection and Root Cause Analysis [4.554856650068748]
コードの変更なしに不整合に合格または失敗する、不安定なテストは、ソフトウェア工学における大きな課題である。
量子ソフトウェアにおける不安定なテストを自動的に検出するフレームワークの構築を目指しています。
論文 参考訳（メタデータ） (2024-10-31T02:43:04Z) - Quantum Patch-Based Autoencoder for Anomaly Segmentation [44.99833362998488]
画像の異常セグメンテーションのためのパッチベースの量子オートエンコーダ(QPB-AE)を提案する。
QPB-AEは、組み込まれた入力パッチの量子状態を再構成し、測定から直接異常マップを計算する。
複数のデータセットとパラメータ構成でその性能を評価する。
論文 参考訳（メタデータ） (2024-04-26T08:42:58Z) - QuanTest: Entanglement-Guided Testing of Quantum Neural Network Systems [45.18451374144537]
量子ニューラルネットワーク(QNN)は、ディープラーニング(DL)原理と量子力学の基本理論を組み合わせて、量子加速による機械学習タスクを実現する。
QNNシステムは従来の量子ソフトウェアと古典的なDLシステムとは大きく異なり、QNNテストにとって重要な課題となっている。
QNNシステムにおける潜在的誤動作を明らかにするために,量子絡み合い誘導型対向テストフレームワークであるQuanTestを提案する。
論文 参考訳（メタデータ） (2024-02-20T12:11:28Z) - QuCAT: A Combinatorial Testing Tool for Quantum Software [43.8945621250487]
本稿では,量子プログラムのテストを行う量子ソフトウェアテストツールQuCATを紹介する。
最初の機能によって、ツールは与えられた強度のテストスイートを生成する。
2つ目の機能では、障害がトリガーされるまで強度を増してテストスイートを生成する。
論文 参考訳（メタデータ） (2023-08-31T20:17:38Z) - Identifying Flakiness in Quantum Programs [5.592360872268223]
14の量子ソフトウェアリポジトリのうち12つで、不安定なテストが見られます。
8つの原因群と7つの共通解を持つ46の異なるフレキ試験報告を同定した。
この研究は、量子プログラムにおけるフレキなテストの解決に関する有益な洞察を提供するため、実践者に興味を持つかもしれない。
論文 参考訳（メタデータ） (2023-02-07T04:55:34Z) - Validation tests of GBS quantum computers give evidence for quantum
advantage with a decoherent target [62.997667081978825]
複数モードデータの検証に指紋としてグループカウント確率の正P位相空間シミュレーションを用いる。
偽データを解き放つ方法を示し、これを古典的なカウントアルゴリズムに適用する。
論文 参考訳（メタデータ） (2022-11-07T12:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。