論文の概要: QEVOLVE-Bench: A Seed Benchmark for Quantum SDK Evolution and Repair Planning
- arxiv url: http://arxiv.org/abs/2609.29492v1
- Date: Tue, 25 Aug 2026 05:07:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.045217
- Title: QEVOLVE-Bench: A Seed Benchmark for Quantum SDK Evolution and Repair Planning
- Title（参考訳）: QEVOLVE-Bench: 量子SDKの進化と修復計画のためのシードベンチマーク
- Abstract要約: 量子ソフトウェアは、Qiskit、PennyLane、Cirqといった高速で動くPython SDK上にますます構築されている。
QEVOLVE-Benchは、量子SDK進化のための小さな実行可能シードベンチマークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantum software is increasingly built on fast-moving Python SDKs such as Qiskit, PennyLane, and Cirq. When these SDKs evolve, user programs can fail because execution helpers are removed, import paths change, simulator abstractions shift, device names are deprecated, or circuit export interfaces are revised. Although some failures surface as simple missing-symbol errors, repairing them is not only a syntactic problem: developers must identify the replacement workflow, preserve the quantum-facing intent, and validate behavior under pinned framework versions. This paper presents QEVOLVE-Bench, a small executable seed benchmark for quantum SDK evolution. The current public release contains 14 controlled migration tasks across Qiskit, PennyLane, and Cirq. Each task is a self-contained Python project with pinned dependencies, failing and passing outputs, pytest acceptance checks, metadata, and benchmark notes. The artifact also includes a manifest, sanity checker, representative smoke-test logs, Zenodo archive, screencast, and a lightweight QEVOLVE-Agent prototype that converts task evidence into structured repair proposals. QEVOLVE-Bench is intentionally not a statistically powered benchmark; instead, it is an extensible seed artifact that lowers the setup cost for studying automated repair, LLM-based software engineering, and maintenance of quantum SDK-based projects.
- Abstract（参考訳）: 量子ソフトウェアは、Qiskit、PennyLane、Cirqといった高速で動くPython SDK上にますます構築されている。
これらのSDKが進化すると、実行ヘルパーが削除され、インポートパスが変更され、シミュレータの抽象化がシフトし、デバイス名が廃止され、サーキットのエクスポートインターフェースが修正されるため、ユーザプログラムは失敗する可能性がある。
いくつかの障害は、単純な不足シンボルエラーとして表面化しているが、それらを修正することは、構文上の問題だけではない。開発者は、置換ワークフローを特定し、量子的対象の意図を維持し、ピン留めされたフレームワークバージョンの下での振る舞いを検証する必要がある。
本稿では,QEVOLVE-Benchについて述べる。
現在のパブリックリリースには、Qiskit、PennyLane、Cirqにまたがる14のコントロールされたマイグレーションタスクが含まれている。
各タスクは自己完結型のPythonプロジェクトであり、依存関係のピン留め、アウトプットのフェールとパス、pytestの受け入れチェック、メタデータ、ベンチマークノートがある。
このアーティファクトには、マニフェスト、衛生チェック、代表喫煙テストログ、Zenodoアーカイブ、スクリーンキャスト、およびタスク証拠を構造化された修復提案に変換する軽量のQEVOLVE-Agentプロトタイプも含まれている。
QEVOLVE-Benchは意図的に統計的に駆動されるベンチマークではなく、自動修復、LLMベースのソフトウェアエンジニアリング、量子SDKベースのプロジェクトのメンテナンスのセットアップコストを下げる拡張可能なシードアーティファクトである。
関連論文リスト
- RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
正規化再帰的自己改善型エージェント・ハーネス(RRSI)
本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。
RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
論文 参考訳（メタデータ） (2026-09-21T17:54:49Z) - SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - AppEval: A Unified Benchmark for LLM-Based Mobile Application Repair in ArkTS, Swift, and Kotlin [25.775485279136763]
AppEvalは、モバイルアプリケーションの修復のためのベンチマークとネイティブツールチェーン評価フレームワークである。
私たちは、HarmonyOS/ArkTS、iOS/Swift、Android/Kotlinにわたるモバイルアプリケーションの修復のための、ベンチマークとネイティブツールチェーン評価フレームワークであるAppEvalを紹介します。
論文 参考訳（メタデータ） (2026-08-19T06:30:34Z) - CLOSER-Bench: Evaluating Budgeted Cross-Stage Design Closure for Hardware Agents [5.604484678527336]
CLOSER-Bench (CLOSER-Bench) は、予算付きクロスステージ設計クロージャのための制御された評価プロトコルである。
Spec-to-RTL、RTL-to-GDS、Spec-to-GDSタスクを組み合わせ、すべてのシミュレータ、合成、STA、プレース・アンド・ルートの呼び出しを記録する。
最終品質、任意の進捗状況、ツールコスト、ステージ間のリカバリを測定します。
論文 参考訳（メタデータ） (2026-07-18T04:28:47Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Visual-to-Code Authoring, Tensor-Network Debugging, and Quantum-Circuit Inspection Tools in Python [51.892236819637354]
ネットワークと量子回路は、接続性、指標、収縮順序、ゲート配置、測定、関連する設計選択に依存する構造体である。
コードよりも視覚的に推論しやすいことが多いが、Pythonでは頻繁に構築され、変換され、バックエンド固有のオブジェクトやコンパクトなシンボル式を通してチェックされる。
本稿では、サポート対象ネットワークの視覚的および構造的検査とトレーサム等価性を示すネットワークワーク・ビジュアライゼーション、ビジュアル・ツー・コードオーサリング、バックエンドコード生成、エクスポート、設計レベルの分析のための量子ネットワークワーク・エディター、クリアな回路レンダリング、検査および設計のための量子回路描画の3つの補完パッケージを提案する。
論文 参考訳（メタデータ） (2026-06-07T18:01:31Z) - Trace2Skill: Verifier-Guided Skill Evolution for Long-Context EDA Agents [0.3733676450456031]
テスト時間スケーリングフレームワークであるTrace2Skillを提案する。
新しいモデルをトレーニングしたり、より多くの候補ソリューションをサンプリングする代わりに、Trace2Skillはエージェントの自然言語スキルを進化可能なポリシーとして扱う。
成功と失敗モードのために繰り返しロールアウトトレースをマイニングし、それらを密集した診断やオラクルのレッスンに変換し、オラクル、ミューテータ、セレクタループを使用してタスク固有のスキルを生成する。
論文 参考訳（メタデータ） (2026-05-20T23:10:49Z) - Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench [33.69401287706814]
我々は、ソフトウェアエンジニアリングを現実的なハードウェアエンジニアリングに移行するために構築されたエージェントAIシステムについて尋ねる。
textbfPhoenix-benchは、114のGitHubリポジトリから511の検証済みのVerilatorインスタンスの同期コーパスです。
Phoenix-benchを用いて、4つの商用エージェントと8つのオープンソースエージェント構造を均一に評価する。
論文 参考訳（メタデータ） (2026-05-13T14:14:54Z) - TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks [12.573674060643787]
TimeMachine-benchは、現実のPythonプロジェクトでソフトウェアマイグレーションを評価するために設計されたベンチマークである。
私たちのベンチマークは、依存関係の更新に応じてテストが失敗し始めるGitHubリポジトリで構成されています。
論文 参考訳（メタデータ） (2026-01-30T05:42:45Z) - Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。
DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。
GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
論文 参考訳（メタデータ） (2024-03-13T15:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。