論文の概要: On the Reproducibility of Quantum Software Defect Datasets: A Case Study of Bugs4Q
- arxiv url: http://arxiv.org/abs/2606.27124v1
- Date: Thu, 25 Jun 2026 15:01:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.327188
- Title: On the Reproducibility of Quantum Software Defect Datasets: A Case Study of Bugs4Q
- Title（参考訳）: 量子ソフトウェア欠陥データセットの再現性について:Bugs4Qを事例として
- Abstract要約: 本研究では、量子プログラムにおける実世界のバグのデータセットであるBugs4Qを用いて、以前の研究の複製研究を行う。
実験の結果、Bugs4Q は Qiskit v0.20.1 で62.2% から v2.3.1 で16.2% に低下した。
これらの発見は以前の研究と一致しているが、相違点も観察した。特に、Bugs4Qの複製失敗のほとんどは、依存バージョンを調整するだけでは解決できない。
- 参考スコア（独自算出の注目度）: 0.3383208046995158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The reproducibility of software defect datasets is essential for obtaining reliable and comparable research results. Zhu et al. have shown that defect datasets such as Defects4J suffer from reproduction failures (i.e., reported bugs become non-reproducible) as time passes since their creation. However, it remains unclear whether these findings generalize to quantum software defect datasets. We therefore conduct a replication study of the prior work using Bugs4Q, a widely used dataset of real-world bugs in quantum programs. Our analysis includes 77,700 quantum program executions of 37 Bugs4Q artifacts across 21 core-library versions. The experimental results showed that the reproducibility of Bugs4Q dropped from 62.2% on Qiskit v0.20.1 to 16.2% on v2.3.1, the latest version as of April 1, 2026. A manual inspection of the root causes further indicated that 93.6% of the failures were dependency-related. While these findings are consistent with those of the prior work, we also observed differences. In particular, most reproduction failures in Bugs4Q cannot be resolved merely by adjusting dependency versions; instead, they require source-code modifications such as migrating import paths and API invocations. Based on this observation, we curated Bugs4Q-Robust, a patched version of Bugs4Q to restore reproducibility. Bugs4Q-Robust increases reproducibility from 16.2% to 78.4% on Qiskit v2.3.1. Our findings highlight the importance of continuous dataset maintenance in the rapidly evolving quantum software ecosystem.
- Abstract（参考訳）: ソフトウェア欠陥データセットの再現性は、信頼性と同等の研究結果を得るために不可欠である。
Zhu氏らは、Defects4Jのような欠陥データセットが再生障害(つまり、バグが再現不可能になるという報告)に悩まされていることを示した。
しかし、これらの発見が量子ソフトウェア欠陥データセットに一般化するかどうかは不明である。
そこで我々は、量子プログラムにおける実世界のバグのデータセットであるBugs4Qを用いて、以前の研究の複製研究を行う。
我々の分析には、21のコアライブラリバージョンにわたる37のBugs4Qアーティファクトの77,700の量子プログラム実行が含まれている。
実験の結果、Bugs4Qの再現性は、Qiskit v0.20.1で62.2%から、2026年4月1日のv2.3.1で16.2%に低下した。
根本原因を手動で検査した結果、93.6%の障害が依存性に関連していたことが判明した。
これらの結果は,先行研究と一致しているが,相違点も見いだした。
特に、Bugs4Qの複製失敗のほとんどは、依存バージョンを調整するだけで解決できない。
この観察に基づいて、再現性を回復するために、Bugs4QのパッチバージョンであるBugs4Q-Robustをキュレートした。
Bugs4Q-RobustはQiskit v2.3.1で再現性16.2%から78.4%に向上する。
我々の発見は、急速に進化する量子ソフトウェアエコシステムにおける継続的データセットのメンテナンスの重要性を浮き彫りにしている。
関連論文リスト
- AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Benchmarking Large Language Models on Repairing Qiskit Programs using Bugs4Q [3.9289101676026146]
67個の真のQiskit欠陥を含む2つのBugs4Qバージョンを評価する。
参照修正が実行を止めたり、バグのあるプログラムが障害を再現しない場合、量子ベンチマークはサイレントラベルエラーに悩まされる可能性がある。
論文 参考訳（メタデータ） (2026-07-10T00:23:47Z) - An Extensive Replication Study of the ABLoTS Approach for Bug Localization [47.89260192608388]
ABLoTSは、バグの多いソースコードスニペットを将来性のある結果で識別するためのIRBLアプローチである。
このアプローチの再現性について、元のデータセットと2つの拡張データセットを用いて検討する。
ABLoTSのコアであるTraceScoreコンポーネントは、拡張データセットで同等あるいはそれ以上の結果を生成する。
論文 参考訳（メタデータ） (2026-05-12T08:54:13Z) - InEx-Bug: A Human Annotated Dataset of Intrinsic and Extrinsic Bugs in the NPM Ecosystem [0.764671395172401]
InEx-Bugは103 NPMリポジトリから377のGitHubイシューを手動でアノテートしたデータセットである。
データセットには、メンテナの参加、コードの変更、再開パターンといった、時間的および行動的な豊富なメタデータが含まれている。
分析によると、Intrinsicのバグは(中期8.9対10.2日)より早く解決され、より頻繁に(92%対78%)、また、Extrinsicのバグに比べてコードの変更が頻繁に(57%対28%)必要である。
論文 参考訳（メタデータ） (2026-02-13T19:03:28Z) - Characterizing Bugs and Quality Attributes in Quantum Software: A Large-Scale Empirical Study [0.6445605125467574]
本研究は,2012年から2024年までの123個のオープンソース量子レポジトリを対象とした,ソフトウェアバグのエコシステムスケールの経時的解析を行った。
フルスタックのライブラリとコンパイラは、回路、ゲート、トランスパイレーションに関連する問題のために最もバグの多いカテゴリである。
暗号、実験コンピューティング、コンパイラツールチェーンにおける高重度バグクラスタ。
論文 参考訳（メタデータ） (2025-12-31T06:05:49Z) - BugPilot: Complex Bug Generation for Efficient Learning of SWE Skills [59.003563837981886]
高品質なバグは、次世代の言語モデルベースソフトウェアエンジニアリング(SWE)エージェントをトレーニングする鍵となる。
難易度および多種多様なバグを合成する新しい方法を提案する。
論文 参考訳（メタデータ） (2025-10-22T17:58:56Z) - BugGen: A Self-Correcting Multi-Agent LLM Pipeline for Realistic RTL Bug Synthesis [1.9291502706655312]
我々はBugGenを紹介した。これは完全な自律型マルチエージェントパイプラインで、RTLの機能的バグを生成し、挿入し、検証する。
BugGenはモジュールを分割し、クローズドループエージェントアーキテクチャを介して突然変異ターゲットを選択し、反復的な洗練とロールバック機構を採用している。
5つのOpenTitan IPブロックで評価され、BugGenは機能精度94%の500のユニークなバグを発生し、通常のマニュアル専門家の挿入より5倍速い時間当たり17.7のバグを検証した。
論文 参考訳（メタデータ） (2025-06-12T09:02:20Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2024-01-09T15:46:38Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳（メタデータ） (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。