論文の概要: A Detailed Historical and Statistical Analysis of the Influence of
Hardware Artifacts on SPEC Integer Benchmark Performance
- arxiv url: http://arxiv.org/abs/2401.16690v1
- Date: Tue, 30 Jan 2024 02:30:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 16:33:16.113670
- Title: A Detailed Historical and Statistical Analysis of the Influence of
Hardware Artifacts on SPEC Integer Benchmark Performance
- Title（参考訳）: ハードウェアアーチファクトがSPEC整数ベンチマーク性能に及ぼす影響の詳細な歴史的・統計的解析
- Authors: Yueyao Wang and Samuel Furman and Nicolas Hardy and Margaret Ellis and
Godmar Back and Yili Hong and Kirk Cameron
- Abstract要約: 標準性能評価コーポレーション(SPEC)のCPUベンチマークは、何十年もの間、コンピュータ性能の指標として広く使われてきた。
過去の取り組みでは、SPECベンチマークスイートが時間とともにどのように経験的に進化したのか、というような質問に対する回答は提供されていない。
これらの質問に対する回答は,コンピュータシステムパフォーマンスの将来に対する洞察を与えてくれるだろうか?
- 参考スコア（独自算出の注目度）: 0.4427733388120187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Standard Performance Evaluation Corporation (SPEC) CPU benchmark has been
widely used as a measure of computing performance for decades. The SPEC is an
industry-standardized, CPU-intensive benchmark suite and the collective data
provide a proxy for the history of worldwide CPU and system performance. Past
efforts have not provided or enabled answers to questions such as, how has the
SPEC benchmark suite evolved empirically over time and what micro-architecture
artifacts have had the most influence on performance? -- have any
micro-benchmarks within the suite had undue influence on the results and
comparisons among the codes? -- can the answers to these questions provide
insights to the future of computer system performance? To answer these
questions, we detail our historical and statistical analysis of specific
hardware artifacts (clock frequencies, core counts, etc.) on the performance of
the SPEC benchmarks since 1995. We discuss in detail several methods to
normalize across benchmark evolutions. We perform both isolated and collective
sensitivity analyses for various hardware artifacts and we identify one
benchmark (libquantum) that had somewhat undue influence on performance
outcomes. We also present the use of SPEC data to predict future performance.
- Abstract（参考訳）: 標準性能評価コーポレーション(spec)のcpuベンチマークは、数十年間コンピューティング性能の尺度として広く用いられてきた。
SPECは業界標準のCPU集約ベンチマークスイートであり、総括データは世界規模のCPUとシステムパフォーマンスの歴史のプロキシを提供する。
過去の取り組みでは、SPECベンチマークスイートは、時間とともにどのように経験的に進化し、マイクロアーキテクチャアーティファクトがパフォーマンスに最も影響を与えたか、といった質問に対して、回答を提供したり提供したりしていない。
スイート内のマイクロベンチマークは、コードの結果や比較に大きく影響していますか?
この質問に対する回答は,コンピュータシステムパフォーマンスの将来に対する洞察を与えてくれるだろうか?
これらの疑問に答えるために、1995年以降のSPECベンチマークの性能について、特定のハードウェアアーティファクト(クロック周波数、コア数など)の歴史的・統計的分析を詳述する。
ベンチマークの進化を正規化するためのいくつかの方法を詳細に論じる。
各種ハードウェアアーティファクトの分離および集合感度解析を行い,性能に悪影響を及ぼすベンチマーク(libquantum)を1つ同定した。
また,SPECデータを用いて今後の性能を予測する。
関連論文リスト
- Confidential Computing on NVIDIA Hopper GPUs: A Performance Benchmark Study [11.306063471976369]
様々な大言語モデル(LLM)推論タスクにTEEモードで導入されたオーバーヘッドをベンチマークする。
以上の結果から,GPUには計算オーバーヘッドが最小限に抑えられているものの,データ転送による性能上のペナルティが主な原因であることが示唆された。
論文 参考訳（メタデータ） (2024-09-06T02:44:27Z) - Benchmarking Quantum Computers: Towards a Standard Performance Evaluation Approach [0.7499722271664147]
我々は、古典的なプロセッサベンチマークとそれらを構成するメトリクスの両方の最も重要な側面についてレビューする。
量子コンピューティングのパラダイムを特徴付ける本質的な特性を解析する。
本稿では,量子ベンチマークの一般的なガイドラインを提案する。
論文 参考訳（メタデータ） (2024-07-15T17:39:59Z) - ECBD: Evidence-Centered Benchmark Design for NLP [95.50252564938417]
ベンチマーク設計プロセスを5つのモジュールに形式化するフレームワークであるEvidence-Centered Benchmark Design (ECBD)を提案する。
各モジュールは、ベンチマーク設計の選択を記述し、正当化し、サポートする必要がある。
分析の結果,ベンチマークの妥当性を脅かす可能性のあるベンチマーク設計とドキュメントの共通する傾向が明らかになった。
論文 参考訳（メタデータ） (2024-06-13T00:59:55Z) - Benchmarking Performance of Deep Learning Model for Material
Segmentation on Two HPC Systems [0.0]
パフォーマンスデータは、OnyxとVulcaniteという2つのERDC DSRCシステム上で収集される。
Vulcaniteは、多数のベンチマークにおいてより高速なモデル時間を持ち、Onyxよりもパフォーマンスを遅くする可能性のある環境要因も考慮されている。
論文 参考訳（メタデータ） (2023-07-27T15:03:13Z) - A Review of Benchmarks for Visual Defect Detection in the Manufacturing
Industry [63.52264764099532]
本稿では,既存のベンチマークを用いて,それらの特性とユースケースを比較し,公開する。
産業メトリクスの要求と試験手順についての研究は、研究されたベンチマークに提示され、適用されます。
論文 参考訳（メタデータ） (2023-05-05T07:44:23Z) - Defining Standard Strategies for Quantum Benchmarks [0.1759008116536278]
我々は、どのベンチマークも従うべき特徴のセットを定義し、ベンチマークと診断を区別する。
ベンチマーク最適化の問題点、それらの最適化がいつ適切か、どのように報告されるべきか、について論じる。
スケーラブルなミラー量子ボリュームベンチマークを導入する。
論文 参考訳（メタデータ） (2023-03-03T17:50:34Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳（メタデータ） (2022-07-20T17:47:54Z) - Benchmarking Node Outlier Detection on Graphs [90.29966986023403]
グラフの外れ値検出は、多くのアプリケーションにおいて、新しいが重要な機械学習タスクである。
UNODと呼ばれるグラフに対して、最初の包括的教師なしノード外乱検出ベンチマークを示す。
論文 参考訳（メタデータ） (2022-06-21T01:46:38Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳（メタデータ） (2021-11-30T03:52:15Z) - Benchmarking high-fidelity pedestrian tracking systems for research,
real-time monitoring and crowd control [55.41644538483948]
実生活環境における高忠実な歩行者追跡は,群集動態研究において重要なツールである。
この技術が進歩するにつれて、社会においても益々有用になってきている。
歩行者追跡技術の研究と技術に成功させるためには、正確さの検証とベンチマークが不可欠である。
我々は、プライバシーに配慮した歩行者追跡技術のためのベンチマークスイートをコミュニティのオープンスタンダードに向けて提示し、議論する。
論文 参考訳（メタデータ） (2021-08-26T11:45:26Z) - AIBench: An Agile Domain-specific Benchmarking Methodology and an AI
Benchmark Suite [26.820244556465333]
本稿では,アジャイルなドメイン固有のベンチマーク手法を提案する。
我々は10つの重要なエンドツーエンドアプリケーションシナリオを特定し、そのうち16の代表的なAIタスクをAIコンポーネントベンチマークとして抽出する。
最初のエンドツーエンドのインターネットサービスAIベンチマークを提示する。
論文 参考訳（メタデータ） (2020-02-17T07:29:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。