論文の概要: QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code

• arxiv url: http://arxiv.org/abs/2610.13811v1
• Date: Fri, 09 Oct 2026 16:23:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.685511
• Title: QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code
• Title（参考訳）: QTestBench: LLM生成量子コードを評価するためのテストフレームワーク
• Abstract要約: 独立ベンチマークチェッカーに対して量子テストスイートを評価するフレームワークであるQTestBenchを紹介する。 各タスクに対して、QTestBenchはモデルに構文、セマンティック、行動テストを生成するよう促す。 3つの検証コホートの下で、各テストのバリデーションをチェッカーのラベルと比較する。
• 参考スコア（独自算出の注目度）: 3.5252595463686274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have shown strong results in classical code generation and are increasingly used to write the unit tests that safeguard that code. Whether they can do the same for quantum software is less clear, because quantum programs are probabilistic, depend on numerical tolerances, and are judged by domain-specific checkers, so a well-formed test can still disagree with the benchmark's verdict. Existing quantum benchmarks measure whether a model produces a correct solution, but not whether its tests can distinguish correct implementations from faulty ones. We introduce QTestBench, a framework that evaluates LLM-generated quantum test suites against independent benchmark checkers, never treating the tests themselves as ground truth. For each task, QTestBench prompts models to produce syntactic, semantic, and behavioral tests, injects candidate solutions at runtime, and compares each test verdict with the checker's label under three validation cohorts, each answering a distinct diagnostic question. We benchmark five LLMs on eight PennyLane QHack challenges and ten Qiskit HumanEval tasks. Generated suites almost always execute, but discrimination lags behind: the best generator reaches a test quality of 0.71 on QHack and 0.34 on Qiskit HumanEval, so executability alone overstates test quality. Oracle-verified synthetic mutants stabilize bug-detection estimates when natural faulty solutions are scarce, as on three of ten Qiskit tasks that yield none. QTestBench offers a reproducible, cross-framework benchmark for the trustworthiness of LLM-generated quantum tests.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、古典的なコード生成において強力な結果を示し、そのコードを保護するユニットテストを書くのにますます使われています。 量子プログラムは確率的であり、数値耐性に依存し、ドメイン固有のチェッカーによって判断されるため、十分に構成されたテストはベンチマークの判断に相反する可能性がある。 既存の量子ベンチマークは、モデルが正しい解を生成するかどうかを測定するが、そのテストが正しい実装と欠陥を区別できるかどうかを測る。 独立したベンチマークチェッカーに対してLLM生成量子テストスイートを評価するフレームワークであるQTestBenchを導入する。 それぞれのタスクに対して、QTestBenchはモデルに構文、意味、振る舞いのテストを生成し、実行時に候補ソリューションを注入し、各テストのバリデーションを3つの検証コホートの下でチェッカーのラベルと比較する。 我々は、PennyLane QHackの8つの課題と10のQiskit HumanEvalタスクに対して、5つのLCMをベンチマークする。 最高のジェネレータはQHackで0.71、Qiskit HumanEvalで0.34に達し、実行可能性だけがテスト品質を上書きする。 Oracleが検証した合成変異体は、天然の欠陥解が不足している場合にバグ検出推定を安定化する。 QTestBenchは、LLM生成量子テストの信頼性を再現可能なクロスフレームワークベンチマークを提供する。

関連論文リスト

• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Beyond Rule-Based Mutation Testing: Test-Aware Mutant Generation Using Large Language Models [24.312896261115494]
  本稿では,LLMが単一プロンプトで問題文,正準解,ベーステストを受け取るテストアウェア変異生成を提案する。 我々は,HumanEval と MBPP ベンチマークの5つの LLM に対して,このアプローチを評価した。 テストアウェアは87.7%(HumanEval)と79.1%(MBPP)の故障率を示す
  論文  参考訳（メタデータ） (2026-09-24T17:27:18Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• How Many Code and Test Cases Are Enough? Evaluating Test Cases Generation from a Binary-Matrix Perspective [51.30005925128432]
  LLM(Large Language Models)が自動生成するテストケースの評価は、非常に難しい作業です。 既存のベンチマークは高い計算コスト、インフレーションのスコア、稀でクリティカルな欠陥に対する自明なバグに対するバイアスに悩まされている。 本稿では,ベンチマーク構築をバイナリコードテスト行列の最適な診断基準として定式化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T18:29:24Z)
• Mutation Testing via Iterative Large Language Model-Driven Scientific Debugging [10.334617290353192]
  我々は,Large Language Models (LLM) が変異体に対するテストを生成する上で,科学的計算が有効かどうかを評価する。 LLMは、より良い障害検出とカバレッジを持つテストを生成する上で、Pynguinを一貫して上回っている。 重要なことは、テストケースの反復的な改善が高品質なテストスイートを実現する上で重要であるということだ。
  論文  参考訳（メタデータ） (2025-03-11T08:47:13Z)
• Toward Automated Validation of Language Model Synthesized Test Cases using Semantic Entropy [0.5057850174013127]
  現代の大規模言語モデル(LLM)ベースのプログラミングエージェントは、しばしば、生成されたコードを洗練するためにテスト実行フィードバックに依存する。 本稿では,LLMが生成したテストケースの自動検証にセマンティックエントロピーを利用する新しいフレームワークVALTESTを紹介する。 VALTESTはテストの妥当性を最大29%向上し、パス@1スコアの大幅な増加によって証明されたコード生成のパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2024-11-13T00:07:32Z)
• TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration [7.509927117191286]
  大規模言語モデル(LLM)は、単体テストケースを生成する際、顕著な能力を示した。 本研究では,新しい単体テスト生成法であるTestARTを提案する。 TestARTは、自動生成と修復の反復の共進化を通じて、LLMベースのユニットテストを改善している。
  論文  参考訳（メタデータ） (2024-08-06T10:52:41Z)
• LiveBench: A Challenging, Contamination-Limited LLM Benchmark [93.57775429120488]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから405Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新され、時間とともに新しいタスクとより難しいタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。