論文の概要: How NOT to Fool the Masses When Giving Performance Results for Quantum Computers

• arxiv url: http://arxiv.org/abs/2411.08860v1
• Date: Wed, 13 Nov 2024 18:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:19.356592
• Title: How NOT to Fool the Masses When Giving Performance Results for Quantum Computers
• Title（参考訳）: 量子コンピュータの性能評価結果を与えるにはどうすればいいのか?
• Authors: Catherine McGeoch,
• Abstract要約: 1991年、デイヴィッド・ベイリー(David Bailey)は、超並列コンピュータの性能を過大評価する手法を記述した論文を書いた。 この論文は、ベンチマークが方法論上の誤りを避けるのに役立つ手続き標準の開発に火をつけた。 本稿では,量子性能ベンチマークに対する新参者への4つの提案について述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In 1991, David Bailey wrote an article describing techniques for overstating the performance of massively parallel computers. Intended as a lighthearted protest against the practice of inflating benchmark results in order to ``fool the masses" and boost sales, the paper sparked development of procedural standards that help benchmarkers avoid methodological errors leading to unjustified and misleading conclusions. Now that quantum computers are starting to realize their potential as viable alternatives to classical computers, we can see the mistakes of three decades ago being repeated by a new batch of researchers who are unfamiliar with this history and these standards. Inspired by Bailey's model, this paper presents four suggestions for newcomers to quantum performance benchmarking, about how not to do it. They are: (1) Don't claim superior performance without mentioning runtimes; (2) Don't report optimized results without mentioning the tuning time needed to optimize those results; (3) Don't claim faster runtimes for (or in comparison to) solvers running on imaginary platforms; and (4) No cherry-picking (without justification and qualification). Suggestions for improving current practice appear in the last section.
• Abstract（参考訳）: 1991年、デイヴィッド・ベイリー(David Bailey)は、超並列コンピュータの性能を過大評価する手法を記述した論文を書いた。 ベンチマーク結果を「大衆を刺激し、販売を促進する」ために、ベンチマークの結果を膨らませるプラクティスに対する軽蔑的な抗議として、この論文は、ベンチマーク担当者が方法論上の誤りを回避し、不正で誤解を招く結論に導くのに役立つ手続き的基準の開発に拍車をかけた。 量子コンピュータが従来のコンピュータの代替手段としての可能性を認識し始めている今、30年前の誤りが、この歴史やそれらの標準に馴染みのない新しい研究者たちによって繰り返されているのが分かる。 ベイリーのモデルにインスパイアされた本論文は、量子パフォーマンスベンチマークに対する新参者への提案を4つ提示する。 1) ランタイムに言及せずに優れたパフォーマンスを主張しないこと、(2) 最適化された結果を最適化するのに必要なチューニング時間に言及せずに報告しないこと、(3) 想像上のプラットフォームで実行されているソルバに対して(あるいは比較して)高速なランタイムを主張しないこと、(4) チェリーピッキングをしないこと(正当化と資格なしで)。 最後の節では、現在の実践を改善するための提案が現れる。

関連論文リスト

• Maverick: Efficient and Accurate Coreference Resolution Defying Recent Trends [49.68011233558541]
  大規模な自己回帰生成モデルは、いくつかの自然言語処理タスクで最高のパフォーマンスを達成するための基盤として現れてきた。 学術予算の制約の中で最先端のCoreference Resolutionシステムを実行可能にするパイプラインであるMaverickを紹介します。 MaverickはCoNLL-2012ベンチマークで最先端のパフォーマンスを達成し、最大0.006倍のメモリリソースをトレーニングし、従来の最先端システムと比較して170倍高速な推論が得られる。
  論文  参考訳（メタデータ） (2024-07-31T09:58:48Z)
• Position: Benchmarking is Limited in Reinforcement Learning Research [33.596940437995904]
  本研究では,厳密な実験設計における計算コストの増大の原因について検討する。 ベンチマークの限界を克服するために、新たな実験パラダイムを使うことを議論する。
  論文  参考訳（メタデータ） (2024-06-23T23:36:26Z)
• Randomized Benchmarking of Local Zeroth-Order Optimizers for Variational Quantum Systems [65.268245109828]
  古典学のパフォーマンスを、半ランダム化された一連のタスクで比較する。 量子システムにおける一般に好適な性能とクエリ効率のため、局所ゼロ階数に着目する。
  論文  参考訳（メタデータ） (2023-10-14T02:13:26Z)
• ThinResNet: A New Baseline for Structured Convolutional Networks Pruning [1.90298817989995]
  プルーニング(Pruning)は、ニューラルネットワークのパラメータ数を減らして効率を向上させる圧縮手法である。 本研究では,最先端のトレーニング手法と自明なモデルスケーリングを併用したネットワークに対して,最近のプルーニングの成果が如何に保たれているかを検証する。
  論文  参考訳（メタデータ） (2023-09-22T13:28:18Z)
• An Energy Estimation Benchmark for Quantum Computers [0.0]
  我々はドイツ・エルンゲンのIBM Quantum System Oneのノイズを統計的に特徴づける。 ベンチマークの結果は, ゲートエラーやリードアウトエラーとほとんど相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-02-08T15:41:46Z)
• Speed-Oblivious Online Scheduling: Knowing (Precise) Speeds is not Necessary [71.46673478666631]
  我々は、無関係な(異種な)マシン上でのオンラインスケジューリングを、高速な環境で検討する。 透かしアルゴリズムと非透かしアルゴリズムでは,強い可視性を示す。
  論文  参考訳（メタデータ） (2023-02-02T10:09:23Z)
• On the Emerging Potential of Quantum Annealing Hardware for Combinatorial Optimization [13.346127263515505]
  本研究はD-Wave Systemsの最新Advantage Performance Updateコンピュータの最適化性能評価を行う。 我々は、この量子アニーラーが実行時利益をもたらすような、探索された問題のクラスが存在することを実証する。
  論文  参考訳（メタデータ） (2022-10-09T15:58:56Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
  Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
  論文  参考訳（メタデータ） (2022-06-27T16:19:24Z)
• Non-Clairvoyant Scheduling with Predictions Revisited [77.86290991564829]
  非論理的スケジューリングでは、優先度不明な処理条件でジョブをスケジューリングするためのオンライン戦略を見つけることが課題である。 我々はこのよく研究された問題を、アルゴリズム設計に(信頼できない)予測を統合する、最近人気の高い学習強化された設定で再検討する。 これらの予測には所望の特性があり, 高い性能保証を有するアルゴリズムと同様に, 自然な誤差測定が可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-21T13:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。