論文の概要: QHackBench: Benchmarking Large Language Models for Quantum Code Generation Using PennyLane Hackathon Challenges
- arxiv url: http://arxiv.org/abs/2506.20008v1
- Date: Tue, 24 Jun 2025 20:54:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 21:00:42.533773
- Title: QHackBench: Benchmarking Large Language Models for Quantum Code Generation Using PennyLane Hackathon Challenges
- Title（参考訳）: QHackBench: PennyLane Hackathon Challengesを使った量子コード生成のための大規模言語モデルのベンチマーク
- Authors: Abdul Basit, Minghao Shao, Haider Asif, Nouhaila Innan, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique,
- Abstract要約: 本稿では,量子ハッカソン(QHack)の現実的課題を用いたペニーレーンに基づく量子コード生成のための大規模言語モデルのベンチマークを行う。
我々は、QHackコンペから派生した新しいベンチマークデータセットであるQHackBenchを紹介し、バニラプロンプトとレトリーバル拡張生成(RAG)によるモデル性能の評価を行う。
その結果,PennyLaneデータセットを補足したRAG強化モデルは,特に複雑な量子アルゴリズムにおいて,標準のプロンプトとほぼ同様の結果を生成することがわかった。
- 参考スコア（独自算出の注目度）: 4.826802034066811
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Large Language Models (LLMs) have demonstrated strong potential in code generation, yet their effectiveness in quantum computing remains underexplored. This paper benchmarks LLMs for PennyLane-based quantum code generation using real-world challenges from the Quantum Hackathon (QHack). We introduce QHackBench, a novel benchmark dataset derived from QHack competitions, and evaluate model performance under vanilla prompting and Retrieval-Augmented Generation (RAG). Our structured evaluation framework assesses functional correctness, syntactic validity, and execution success across varying challenge difficulties. Results indicate that RAG-enhanced models, supplemented with an augmented PennyLane dataset, approximately generate similar results as the standard prompting, particularly in complex quantum algorithms. Additionally, we introduce a multi-agent evaluation pipeline that iteratively refines incorrect solutions, further enhancing execution success rates. To foster further research, we commit to publicly releasing QHackBench, along with our evaluation framework and experimental results, enabling continued advancements in AI-assisted quantum programming.
- Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩は、コード生成に強い可能性を示しているが、量子コンピューティングにおけるその有効性は未解明のままである。
本稿では,PennyLaneをベースとした量子コード生成のためのLLMを,Quantum Hackathon(QHack)の現実的課題を用いてベンチマークする。
本稿では、QHackコンペから派生した新しいベンチマークデータセットであるQHackBenchを紹介し、バニラプロンプトとレトリーバル拡張生成(RAG)によるモデル性能の評価を行う。
構造化評価フレームワークは,様々な課題にまたがる機能的正当性,統語的妥当性,実行成功度を評価する。
その結果,PennyLaneデータセットを補足したRAG強化モデルは,特に複雑な量子アルゴリズムにおいて,標準のプロンプトとほぼ同様の結果を生成することがわかった。
さらに、誤解を反復的に洗練し、実行の成功率をさらに高めるマルチエージェント評価パイプラインを導入する。
さらなる研究を促進するため、我々は、評価フレームワークと実験結果とともに、QHackBenchを公開し、AI支援量子プログラミングの継続的な進歩を可能にすることを約束します。
関連論文リスト
- VQC-MLPNet: An Unconventional Hybrid Quantum-Classical Architecture for Scalable and Robust Quantum Machine Learning [60.996803677584424]
変分量子回路(VQC)は、量子機械学習のための新しい経路を提供する。
それらの実用的応用は、制約付き線形表現性、最適化課題、量子ハードウェアノイズに対する鋭敏感といった固有の制限によって妨げられている。
この研究は、これらの障害を克服するために設計されたスケーラブルで堅牢なハイブリッド量子古典アーキテクチャであるVQC-MLPNetを導入している。
論文 参考訳（メタデータ） (2025-06-12T01:38:15Z) - An Efficient Quantum Classifier Based on Hamiltonian Representations [50.467930253994155]
量子機械学習(QML)は、量子コンピューティングの利点をデータ駆動タスクに移行しようとする分野である。
入力をパウリ弦の有限集合にマッピングすることで、データ符号化に伴うコストを回避できる効率的な手法を提案する。
我々は、古典的および量子モデルに対して、テキストおよび画像分類タスクに対する我々のアプローチを評価する。
論文 参考訳（メタデータ） (2025-04-13T11:49:53Z) - Quantum Bayesian Networks for Machine Learning in Oil-Spill Detection [3.9554540293311864]
量子機械学習は、環境モニタリング、医療診断、金融モデリングといった様々な応用において有望であることを示している。
重要な課題のひとつは、希少なイベントがスキューデータ分散によって誤って分類される、不均衡なデータセットを扱うことだ。
本稿では,QBNを用いて衛星由来の不均衡データセットを分類し,非スパイル領域とオイルスパイル'を区別するベイズ的手法を提案する。
論文 参考訳（メタデータ） (2024-12-24T15:44:26Z) - AdaLog: Post-Training Quantization for Vision Transformers with Adaptive Logarithm Quantizer [54.713778961605115]
Vision Transformer (ViT) はコンピュータビジョンコミュニティにおいて最も普及しているバックボーンネットワークの1つである。
本稿では,AdaLog(Adaptive Logarithm AdaLog)量子化器を提案する。
論文 参考訳（メタデータ） (2024-07-17T18:38:48Z) - Qiskit HumanEval: An Evaluation Benchmark For Quantum Code Generative Models [1.8213213818713139]
我々は、Qiskit HumanEvalデータセットを導入し、量子コードを生成するための大規模言語モデルの能力をベンチマークするために使用します。
このデータセットは100以上の量子コンピューティングタスクから構成されており、それぞれにプロンプト、標準解、そして生成した解の正確性を評価するのに困難スケールが伴っている。
論文 参考訳（メタデータ） (2024-06-20T20:14:22Z) - Stressing Out Modern Quantum Hardware: Performance Evaluation and
Execution Insights [2.2091590689610823]
ストレステスト(英語: stress testing)とは、特定のしきい値を超えた計算負荷を与えることによってシステムを評価する手法である。
我々は,ストレステストに基づくプロトコルを用いて,量子H1イオントラップ装置の質的,定量的評価を行う。
論文 参考訳（メタデータ） (2024-01-24T20:22:34Z) - Quantum Imitation Learning [74.15588381240795]
本稿では、量子優位性を利用してILを高速化する量子模倣学習(QIL)を提案する。
量子行動クローニング(Q-BC)と量子生成逆模倣学習(Q-GAIL)という2つのQILアルゴリズムを開発した。
実験結果から,Q-BCとQ-GAILの両者が,従来のものと同等の性能を達成できることが判明した。
論文 参考訳（メタデータ） (2023-04-04T12:47:35Z) - Optimization Applications as Quantum Performance Benchmarks [0.0]
組合せ最適化は、今後数年間における量子計算の主要なユースケースの1つとして期待されている。
従来の最適化アルゴリズムの特徴付け手法に着想を得て,Max-Cut問題を解くことで得られる解の質を分析した。
これは量子コンピュータのための高度なベンチマークフレームワークの開発を導くために使われる。
論文 参考訳（メタデータ） (2023-02-05T01:56:06Z) - QuanGCN: Noise-Adaptive Training for Robust Quantum Graph Convolutional
Networks [124.7972093110732]
本稿では,ノード間の局所的なメッセージパッシングをクロスゲート量子演算のシーケンスで学習する量子グラフ畳み込みネットワーク(QuanGCN)を提案する。
現代の量子デバイスから固有のノイズを緩和するために、ノードの接続をスパーズするためにスパース制約を適用します。
我々のQuanGCNは、いくつかのベンチマークグラフデータセットの古典的なアルゴリズムよりも機能的に同等か、さらに優れている。
論文 参考訳（メタデータ） (2022-11-09T21:43:16Z) - Quantum circuit architecture search for variational quantum algorithms [88.71725630554758]
本稿では、QAS(Quantum Architecture Search)と呼ばれるリソースと実行時の効率的なスキームを提案する。
QASは、よりノイズの多い量子ゲートを追加することで得られる利点と副作用のバランスをとるために、自動的にほぼ最適アンサッツを求める。
数値シミュレータと実量子ハードウェアの両方に、IBMクラウドを介してQASを実装し、データ分類と量子化学タスクを実現する。
論文 参考訳（メタデータ） (2020-10-20T12:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。