論文の概要: Revisiting Quantum Code Generation: Where Should Domain Knowledge Live?
- arxiv url: http://arxiv.org/abs/2603.22184v1
- Date: Mon, 23 Mar 2026 16:46:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.792207
- Title: Revisiting Quantum Code Generation: Where Should Domain Knowledge Live?
- Title(参考訳): 量子コード生成を再考する: ドメインの知識はどこにあるべきか?
- Authors: Oscar Novo, Oscar Bastidas-Jossa, Alberto Calvo, Antonio Peris, Carlos Kuchkovsky,
- Abstract要約: 本稿では,Qiskit-HumanEvalベンチマークを用いて,Qiskitコード生成のための特殊化戦略について検討する。
現代の汎用LLMはパラメータ特化ベースラインを一貫して上回っていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) have enabled the automation of an increasing number of programming tasks, including code generation for scientific and engineering domains. In rapidly evolving software ecosystems such as quantum software development, where frameworks expose complex abstractions, a central question is how best to incorporate domain knowledge into LLM-based assistants while preserving maintainability as libraries evolve. In this work, we study specialization strategies for Qiskit code generation using the Qiskit-HumanEval benchmark. We compare a parameter-specialized fine-tuned baseline introduced in prior work against a range of recent general-purpose LLMs enhanced with retrieval-augmented generation (RAG) and agent-based inference with execution feedback. Our results show that modern general-purpose LLMs consistently outperform the parameter-specialized baseline. While the fine-tuned model achieves approximately 47% pass@1 on Qiskit-HumanEval, recent general-purpose models reach 60-65% under zero-shot and retrieval-augmented settings, and up to 85% for the strongest evaluated model when combined with iterative execution-feedback agents -representing an improvement of more than 20% over zero-shot general-purpose performance and more than 35% over the parameter-specialized baseline. Agentic execution feedback yields the most consistent improvements, albeit at increased runtime cost, while RAG provides modest and model-dependent gains. These findings indicate that performance gains can be achieved without domain-specific fine-tuning, instead relying on inference-time augmentation, thereby enabling a more flexible and maintainable approach to LLM-assisted quantum software development.
- Abstract(参考訳): 大規模言語モデル(LLM)の最近の進歩は、科学や工学の分野におけるコード生成を含む、ますます多くのプログラミングタスクの自動化を可能にしている。
フレームワークが複雑な抽象化を公開する量子ソフトウェア開発のような、急速に進化するソフトウェアエコシステムにおいて、ライブラリが進化するにつれて保守性を維持しながら、ドメイン知識をLLMベースのアシスタントにどのように組み込むかが中心的な疑問である。
本研究では,Qiskit-HumanEvalベンチマークを用いて,Qiskitコード生成のための特殊化戦略について検討する。
提案手法は,RAG(Research-augmented Generation)により拡張された最近の汎用LLMと,実行フィードバックによるエージェントベース推論との比較である。
以上の結果から,現代の汎用LLMはパラメータ特定ベースラインを一貫して上回っていることがわかった。
微調整されたモデルはQiskit-HumanEvalで約47%のパス@1を達成するが、最近の汎用モデルはゼロショットおよび検索強化された設定で60-65%に達し、反復実行フィードバックエージェントと組み合わせた場合、最も評価の高いモデルでは85%に達する。
エージェントによる実行フィードバックは、実行コストの増加にもかかわらず、最も一貫性のある改善をもたらす。
これらの結果は、推論時間の増大に頼らず、ドメイン固有の微調整なしに性能向上が達成できることを示し、LLM支援量子ソフトウェア開発に対するより柔軟で保守性の高いアプローチを可能にする。
関連論文リスト
- GLM-5: from Vibe Coding to Agentic Engineering [222.46864802629477]
GLM-5は,バイブ符号化のパラダイムをエージェント工学に移行するために設計された次世代基盤モデルである。
GLM-5は、前任者のエージェント、推論、コーディング(ARC)能力に基づいており、長いコンテキストの忠実さを維持しながら、トレーニングと推論のコストを大幅に削減するためにDSAを採用している。
論文 参考訳(メタデータ) (2026-02-17T17:50:56Z) - GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents [0.32839375042867835]
textitGrowthHackerは、大規模な実世界のデータセットのエージェントおよびベースラインメソッドによるベンチマークである。
textittwo_agentフレームワークを開発し、最適化効率を保ちながらシステムの複雑さを低減する。
その結果、2_agentフレームワークは100%の信頼性と106.7%の平均的な改善を実現していることがわかった。
論文 参考訳(メタデータ) (2025-11-02T04:47:17Z) - MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。
我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。
トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
論文 参考訳(メタデータ) (2025-10-09T17:53:58Z) - DeepV: A Model-Agnostic Retrieval-Augmented Framework for Verilog Code Generation with a High-Quality Knowledge Base [13.906575706979375]
本稿では,モデルに依存しないRAGフレームワークであるDeepVを紹介した。
我々のフレームワークは、最新の商用LLMであるOpenAIのGPT-5の恩恵を受けており、VerilogEvalベンチマークでは、ほぼ17%のパフォーマンスが向上している。
論文 参考訳(メタデータ) (2025-10-06T19:47:27Z) - Beyond Single LLMs: Enhanced Code Generation via Multi-Stage Performance-Guided LLM Orchestration [12.674888937998086]
大規模言語モデル(LLM)は、自動コード生成の主要なパラダイムとなっている。
本稿では,マルチステージなパフォーマンス誘導オーケストレーションフレームワークを導入することで,シングルモデルコンベンションに挑戦する。
Perchは、ステージワイドバリデーションとロールバックメカニズムを通じて、各タスクコンテキストでトップパフォーマンスのLLMをオーケストレーションする。
論文 参考訳(メタデータ) (2025-10-01T19:07:16Z) - DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。
開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。
デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-27T12:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。