論文の概要: A methodology for comparing and benchmarking quantum devices
- arxiv url: http://arxiv.org/abs/2405.08617v1
- Date: Tue, 14 May 2024 13:58:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 13:59:04.663973
- Title: A methodology for comparing and benchmarking quantum devices
- Title(参考訳): 量子デバイスの比較とベンチマーク手法
- Authors: Jessica Park, Susan Stepney, Irene D'Amico,
- Abstract要約: まず最初に、成功の基準を定義する必要がある。問題に関連するメトリクスや統計は何か?
本稿では, ユーザ, 開発者, 研究者が, 問題の解決やクレーム作成に使用した成功基準と関連するベンチマークを定義し, 明確化し, 正当化することのできるフレームワークについて述べる。
- 参考スコア(独自算出の注目度): 0.19116784879310028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantum Computing (QC) is undergoing a high rate of development, investment and research devoted to its improvement.However, there is little consensus in the industry and wider literature as to what improvement might consist of beyond ambiguous statements of "more qubits" and "fewer errors". Before one can decide how to improve something, it is first necessary to define the criteria for success: what are the metrics or statistics that are relevant to the problem? The lack of clarity surrounding this question has led to a rapidly developing capability with little consistency or standards present across the board. This paper lays out a framework by which any user, developer or researcher can define, articulate and justify the success criteria and associated benchmarks that have been used to solve their problem or make their claim.
- Abstract(参考訳): 量子コンピューティング(QC)は、その改善に向け、開発、投資、研究の速度が高くなっているが、「より量子ビット」と「より少ないエラー」という曖昧な言明を超越した改善がどんなものかについては、業界や幅広い文献にはほとんど意見の一致がない。
何かを改善する方法を決定する前に、まずは成功の基準を定義する必要があります。
この疑問を取り巻く明確さの欠如は、ボード全体に一貫性や標準がほとんど存在しない、急速に発展する能力に繋がった。
本稿では, ユーザ, 開発者, 研究者が, 問題の解決やクレーム作成に使用した成功基準と関連するベンチマークを定義し, 明確化し, 正当化することのできるフレームワークについて述べる。
関連論文リスト
- QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳(メタデータ) (2023-10-22T16:07:06Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z) - Shortcomings of Question Answering Based Factuality Frameworks for Error
Localization [51.01957350348377]
質問応答(QA)に基づく事実性指標は、生成した要約の誤り範囲を正しく識別できないことを示す。
このようなローカライゼーションが不十分な理由として,QGモジュールが生成した質問は,非実数的な要約から誤りを継承することが多く,さらに下流モジュールに伝播する。
本実験は,より強力なQAモデルとQGモデルでのみ修正できないQAフレームワークを用いた局所化に関する根本的な問題が存在することを確定的に示す。
論文 参考訳(メタデータ) (2022-10-13T05:23:38Z) - Towards QD-suite: developing a set of benchmarks for Quality-Diversity
algorithms [0.0]
既存のベンチマークは標準化されておらず、現在、品質多様性(QD)に匹敵するMNISTはない。
我々は、QD手法が直面する課題の特定と、目標とする、挑戦的でスケーラブルなベンチマークの開発が重要なステップであると主張している。
論文 参考訳(メタデータ) (2022-05-06T13:33:50Z) - MQBench: Towards Reproducible and Deployable Model Quantization
Benchmark [53.12623958951738]
MQBenchは、モデル量子化アルゴリズムの評価、分析、およびデプロイ可能性のベンチマークを行う最初の試みである。
我々は、CPU、GPU、ASIC、DSPを含む実世界のデプロイのための複数のプラットフォームを選択し、最先端の量子化アルゴリズムを評価する。
包括的な分析を行い、直感的、直感的、あるいは反直感的な洞察を見出す。
論文 参考訳(メタデータ) (2021-11-05T23:38:44Z) - What Will it Take to Fix Benchmarking in Natural Language Understanding? [30.888416756627155]
我々は、NLUベンチマークが満たすべきと議論する4つの基準を定めている。
健全な評価エコシステムの復元には、ベンチマークデータセットの設計に大きな進歩が必要だ。
論文 参考訳(メタデータ) (2021-04-05T20:36:11Z) - Identifying Properties of Real-World Optimisation Problems through a
Questionnaire [2.805617945875364]
本研究は, 実世界の課題の実態を質問紙で調査する。
これは将来のベンチマーク問題の設計を可能にし、現実世界で見られる問題とよりよく似ている。
論文 参考訳(メタデータ) (2020-11-11T05:09:01Z) - Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical
Guarantee [110.16183719936629]
本稿では,現行の定式化よりも高速に収束する2レベルモデルを提案する。
実験結果から,本モデルが現行のバイレベルモデルよりも大きなマージンで優れていたことが示唆された。
論文 参考訳(メタデータ) (2020-09-01T20:52:57Z) - A Framework for Evaluation of Machine Reading Comprehension Gold
Standards [7.6250852763032375]
本稿では,現在の言語的特徴,必要な推論,背景知識,事実的正当性を調査するための統一的な枠組みを提案する。
語彙的曖昧さに寄与する特徴の欠如、期待される回答の様々な事実的正しさ、および語彙的手がかりの存在は、いずれも、評価データの読解の複雑さと品質を低下させる可能性がある。
論文 参考訳(メタデータ) (2020-03-10T11:30:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。