論文の概要: Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
- arxiv url: http://arxiv.org/abs/2610.28678v1
- Date: Mon, 19 Oct 2026 14:52:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.099688
- Title: Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
- Title（参考訳）: Quantum Leapのベンチマーク:量子コード生成のためのLLM評価の検討
- Abstract要約: 大規模言語モデル(LLM)は量子プログラムを生成することができるが、信頼性の高い評価は依然として難しい。
5つの量子コード生成スイート(530タスク)上で、15のホストされたフロンティア、オープンウェイト、量子特殊化、および検索強化モデルを評価する。
本報告では,ブートストラップの信頼区間,多重度調整によるペア比較,出力妥当性と評価器動作の監査について報告する。
- 参考スコア（独自算出の注目度）: 2.5890585796088685
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can generate quantum programs, but reliable evaluation remains difficult because benchmarks differ in task composition, scoring, and failure handling. We evaluate 15 hosted frontier, open-weight, quantum-specialized, and retrieval-augmented models on five quantum code-generation suites (530 tasks), plus 10 models on our new QuantumBenchEval (QBE) benchmark (96 tasks across six topics). We report bootstrap confidence intervals, multiplicity-adjusted paired comparisons, and audits of output validity and evaluator behavior. QiskitHumanEval-Standard approaches saturation (98.7% pass@1), while its Hard variant retains headroom (63.8%). None of the five top-two comparisons across primary suites remains significant after multiple-comparison correction. Evaluator design substantially changes scores: removing checks for unspecified quantities raises GPT-6 Astra's QBE pass@1 from 0% to 94.1% (T1) and from 1.2% to 92.9% (T6), without changing model outputs. We identify 17 QuanBench-117 tasks with shared failures linked to benchmark-owned imports. Controlled probes also reveal unexecuted unit tests, leakage of canonical functions into candidate execution, and reference imports that block otherwise valid candidates. These defects can produce both false failures and false passes, so historical QuanBench results require revalidation under an isolated evaluator. Overall, leaderboard scores alone do not adequately characterize progress in quantum code generation. We release our harness, per-sample results, and audit artifacts and recommend validating evaluators, isolating candidate code, and reporting uncertainty and output validity.
- Abstract（参考訳）: 大規模言語モデル(LLM)は量子プログラムを生成することができるが、ベンチマークはタスク構成、スコアリング、障害処理が異なるため、信頼性の高い評価は依然として難しい。
我々は,5つの量子コード生成スイート(530タスク),および新しいQuantum BenchEval(QBE)ベンチマーク(6つのトピックで96タスク)で15のホストされたフロンティア,オープンウェイト,量子特殊化,および検索強化モデルを評価した。
本報告では,ブートストラップの信頼区間,多重度調整によるペア比較,出力妥当性と評価器動作の監査について報告する。
Qiskit HumanEval-Standard は飽和 (98.7% pass@1) に近づき、Hard はヘッドルーム (63.8%) を維持している。
一次スイート間の上位2つの比較は、多重比較補正後の有意な差はない。
未特定量のチェックを削除すると、GPT-6 アストラのQBEパス@1が0%から94.1%(T1)、モデル出力を変更することなく1.2%から92.9%(T6)に上昇する。
ベンチマーク所有のインポートにリンクした共有障害を持つ17 QuanBench-117タスクを識別する。
制御されたプローブは、未実行の単体テスト、標準関数の候補実行へのリーク、その他の有効な候補をブロックする参照インポートも明らかにする。
これらの欠陥は偽の失敗と偽のパスの両方を引き起こす可能性があるため、歴史的クァンベンチの結果は孤立した評価器の下で再検証を必要とする。
全体として、リーダボードのスコアだけでは、量子コード生成の進捗を適切に特徴づけられません。
我々は、ハーネス、サンプルごとの結果、監査成果物を公開し、評価器の検証、候補コードの分離、不確実性と出力の妥当性の報告を推奨する。
関連論文リスト
- Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - QTestBench: A Test Framework for Evaluating LLM-Generated Quantum Code [3.5252595463686274]
独立ベンチマークチェッカーに対して量子テストスイートを評価するフレームワークであるQTestBenchを紹介する。
各タスクに対して、QTestBenchはモデルに構文、セマンティック、行動テストを生成するよう促す。
3つの検証コホートの下で、各テストのバリデーションをチェッカーのラベルと比較する。
論文 参考訳（メタデータ） (2026-10-09T16:23:46Z) - Noise-Resilient Testing of Quantum Programs Based on Output Dominance [3.850881411429383]
ノイズ推定と緩和を別途行わずにノイズサンプルから検査を判定するための支配誘導QST手法であるQominoを提案する。
我々は,6つのQiskitプログラムと6つのシミュレートされたノイズバックエンドから,30の制御バギー変種について,Qominoを統計的,量子固有,学習に基づく6つのベースラインと比較した。Qominoは6つのプログラムすべてに対して85.65%,制限された2つのプログラム評価において99.95%の精度を達成し,対応するベースラインを著しく上回った。
論文 参考訳（メタデータ） (2026-10-03T11:55:07Z) - Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。
496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。
ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
論文 参考訳（メタデータ） (2026-06-30T21:10:42Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - QuanBench+: A Unified Multi-Framework Benchmark for LLM-Based Quantum Code Generation [39.32132630606808]
Qiskit、PennyLane、Cirqにまたがる統一ベンチマークであるQuanBench+を紹介します。
我々は,機能テストの実行可能なモデルの評価を行い,Pass@1およびPass@5を報告する。
フレームワーク全体で、最強のワンショットスコアはキズキットで59.5%、サークルで54.8%、ペニーレーンで42.9%に達した。
論文 参考訳（メタデータ） (2026-03-25T20:51:21Z) - Omanic: Towards Step-wise Evaluation of Multi-hop Reasoning in Large Language Models [60.418191092851636]
OmanicはオープンドメインのマルチホップQAリソースであり、推論プロセスを分析するための構造アノテーションとして分解されたサブクエストと中間回答を提供する。
10,296個の機械によるトレーニング例(Omanic Synth)と967個の専門家による注釈付き評価例(OmanicBench)を含む。
論文 参考訳（メタデータ） (2026-03-17T15:23:37Z) - HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。
HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。
我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
論文 参考訳（メタデータ） (2026-02-15T02:50:15Z) - Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。
信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。
我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文 参考訳（メタデータ） (2025-02-05T18:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。