論文の概要: Measuring what matters: A scalable framework for application-level quantum benchmarking
- arxiv url: http://arxiv.org/abs/2604.11781v1
- Date: Mon, 13 Apr 2026 17:47:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.73243
- Title: Measuring what matters: A scalable framework for application-level quantum benchmarking
- Title（参考訳）: 重要なことを測定する:アプリケーションレベルの量子ベンチマークのためのスケーラブルなフレームワーク
- Authors: Willie Aboumrad, Claudio Girotto, Joshua Goings, Luning Zhao, Miguel Angel Lopez-Ruiz, Daiwei Zhu, Ananth Kaushik, Sayonee Ray, Samwel Sekwao, Jason Iaconis, Andrew Arrasmith, Andrii Maksymov, Yvette de Sereville, Felix Tripier, Far McKon, Coleman Collins, Evgeny Epifanovsky, Masako Yamada, Martin Roetteler,
- Abstract要約: アプリケーションレベルの量子ベンチマークのためのスケーラブルなフレームワークを提案する。
複数のドメインにわたる現実的なワークロードを反映した13のベンチマークファミリを提示する。
ベンチマークは再現可能で、ステークホルダーグループ間で解釈可能で、進化するシステム機能に適応できるように設計されています。
- 参考スコア（独自算出の注目度）: 0.21657999663857241
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As quantum computing systems continue to mature, there is an increasing need for benchmarking methodologies that capture performance in terms of meaningful, application-level metrics. In this work, we present a scalable framework for application-level quantum benchmarking that is designed to support internal system evaluation and cross-platform comparison across technology providers. Our framework is guided by a set of core principles, including measurability, simplicity, scalability, and extensibility. We present 13 benchmark families that reflect realistic workloads across multiple domains. This enables the systematic evaluation of the quality of solutions, the total execution time, total used energy, as well as Time-to-Solution. The benchmarks are designed to be reproducible, interpretable across stakeholder groups, and adaptable to evolving system capabilities. The framework aims to bridge the gap between low-level performance metrics and real-world value, providing a unified approach to assessing quantum systems. The resulting benchmarks support development and validation and contribute to the foundation of industry-wide benchmarking standards.
- Abstract（参考訳）: 量子コンピューティングシステムが成熟し続けるにつれ、意味のあるアプリケーションレベルのメトリクスでパフォーマンスを捉えるためのベンチマーク手法の必要性が高まっている。
本研究では、内部システム評価と技術プロバイダ間のクロスプラットフォーム比較をサポートするように設計された、アプリケーションレベルの量子ベンチマークのためのスケーラブルなフレームワークを提案する。
私たちのフレームワークは、測定可能性、単純性、スケーラビリティ、拡張性など、コア原則のセットでガイドされています。
複数のドメインにわたる現実的なワークロードを反映した13のベンチマークファミリを提示する。
これにより, ソリューションの品質, 実行時間, 使用エネルギー, および溶出時間を体系的に評価することができる。
ベンチマークは再現可能で、ステークホルダーグループ間で解釈可能で、進化するシステム機能に適応できるように設計されています。
このフレームワークは、低レベルのパフォーマンスメトリクスと実世界の価値のギャップを埋めることを目的としており、量子システムを評価する統一的なアプローチを提供する。
その結果得られたベンチマークは、開発と検証をサポートし、業界全体のベンチマーク標準の基礎に貢献する。
関連論文リスト
- UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。
UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
論文 参考訳（メタデータ） (2026-03-24T13:01:31Z) - Metriq: A Collaborative Platform for Benchmarking Quantum Computers [33.7311511438168]
再現可能なクロスプラットフォーム量子ベンチマークのためのオープンソースプラットフォームであるMetriqを紹介する。
Metriqは、ベンチマーク定義と実行、データ収集、公開プレゼンテーションを統合ワークフローに統合する。
Metriqを使用して、複数のハードウェアベンダで10以上の量子コンピュータから結果を収集し、公開しています。
論文 参考訳（メタデータ） (2026-03-09T17:49:41Z) - A Theoretical Framework for Adaptive Utility-Weighted Benchmarking [0.0]
本稿では,ベンチマークを重み付けによる評価指標,モデルコンポーネント,利害関係者グループとして再認識する理論的枠組みを提案する。
コンジョイント由来のユーティリティとHuman-in-the-loop更新ルールを用いて、人間のトレードオフをベンチマーク構造に組み込む方法と、ベンチマークが安定性と解釈可能性を維持しながら動的に進化する方法を定式化する。
論文 参考訳（メタデータ） (2026-02-12T19:33:47Z) - Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。
数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。
本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文 参考訳（メタデータ） (2026-01-07T14:59:03Z) - Quantum Computer Benchmarking: An Explorative Systematic Literature Review [2.2155582827470544]
現在までに最も包括的な体系的な文献レビューを行っている。
量子スタックとその利害関係者に合わせて、QCベンチマークのための新しい分類法と定義を開発する。
我々の分析では、繰り返し発生する設計パターンを明らかにし、研究のギャップを露呈し、ベンチマーク手法が異なる利害関係者にどのように役立つかを明らかにする。
論文 参考訳（メタデータ） (2025-09-03T07:13:52Z) - BenchQC -- Scalable and modular benchmarking of industrial quantum computing applications [26.629709879735532]
BenchQCは、現実世界の量子アプリケーションをベンチマークするためのアプリケーション中心の視点を促進する。
我々は、有意義なトレンドを明らかにし、量子ユーティリティに関する体系的なガイダンスを提供し、有望な研究方向を実現不可能なアプローチと区別することを目的としている。
論文 参考訳（メタデータ） (2025-04-15T14:05:11Z) - Systematic benchmarking of quantum computers: status and recommendations [1.1961811541956795]
ベンチマークは量子コンピュータの性能を評価するために重要である。
この文書はコンポーネントレベル、システムレベル、ソフトウェアレベル、HPCレベル、アプリケーションレベルベンチマークといった重要な側面を強調している。
論文 参考訳（メタデータ） (2025-03-06T19:05:13Z) - Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳（メタデータ） (2024-07-22T17:52:12Z) - ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。
各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。
分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
論文 参考訳（メタデータ） (2024-06-13T00:59:55Z) - QAFactEval: Improved QA-Based Factual Consistency Evaluation for
Summarization [116.56171113972944]
QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。
提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-12-16T00:38:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。