論文の概要: It's all about PR -- Smart Benchmarking AI Accelerators using Performance Representatives

• arxiv url: http://arxiv.org/abs/2406.08330v1
• Date: Wed, 12 Jun 2024 15:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:16:39.856306
• Title: It's all about PR -- Smart Benchmarking AI Accelerators using Performance Representatives
• Title（参考訳）: PRに関するすべて -- パフォーマンス代表を用いたスマートベンチマークAIアクセラレータ
• Authors: Alexander Louis-Ferdinand Jung, Jannik Steinmetz, Jonathan Gietz, Konstantin Lübeck, Oliver Bringmann,
• Abstract要約: 統計性能モデルのトレーニングは、しばしば大量のデータを必要とするため、かなりの時間的投資となり、ハードウェアの可用性が制限された場合に困難になる。 本稿では,精度を保ちながらトレーニングサンプル数を著しく削減する性能モデリング手法を提案する。 その結果,単層推定では0.02%,トレーニングサンプル10000点未満では0.68%という平均絶対誤差(MAPE)が得られた。
• 参考スコア（独自算出の注目度）: 40.197673152937256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Statistical models are widely used to estimate the performance of commercial off-the-shelf (COTS) AI hardware accelerators. However, training of statistical performance models often requires vast amounts of data, leading to a significant time investment and can be difficult in case of limited hardware availability. To alleviate this problem, we propose a novel performance modeling methodology that significantly reduces the number of training samples while maintaining good accuracy. Our approach leverages knowledge of the target hardware architecture and initial parameter sweeps to identify a set of Performance Representatives (PR) for deep neural network (DNN) layers. These PRs are then used for benchmarking, building a statistical performance model, and making estimations. This targeted approach drastically reduces the number of training samples needed, opposed to random sampling, to achieve a better estimation accuracy. We achieve a Mean Absolute Percentage Error (MAPE) of as low as 0.02% for single-layer estimations and 0.68% for whole DNN estimations with less than 10000 training samples. The results demonstrate the superiority of our method for single-layer estimations compared to models trained with randomly sampled datasets of the same size.
• Abstract（参考訳）: 統計モデルは、商用オフザシェルフ(COTS)AIハードウェアアクセラレータのパフォーマンスを推定するために広く使用されている。 しかし、統計性能モデルのトレーニングには大量のデータを必要とすることが多く、ハードウェアの可用性が限られている場合、かなりの時間的投資につながる可能性がある。 そこで,本研究では,精度を保ちながらトレーニングサンプル数を大幅に削減する性能モデリング手法を提案する。 当社のアプローチでは,対象とするハードウェアアーキテクチャと初期パラメータスイープの知識を活用して,ディープニューラルネットワーク(DNN)レイヤのパフォーマンス代表(PR)のセットを特定する。 これらのPRは、ベンチマーク、統計的パフォーマンスモデルの構築、推定に使用される。 このターゲットアプローチは、ランダムサンプリングとは対照的に、必要なトレーニングサンプルの数を劇的に削減し、より良い推定精度を実現する。 単層推定では0.02%,DNN推定では0.68%という平均絶対誤差(MAPE)を10000以下のトレーニングサンプルで達成する。 その結果,同じ大きさのランダムサンプリングデータセットを用いて学習したモデルと比較して,単層推定法の方が優れていることが示された。

関連論文リスト

• A Framework for Efficient Model Evaluation through Stratification, Sampling, and Estimation [17.351089059392674]
  本稿では,階層化,サンプリング,推定を含むモデル評価のためのフレームワークを提案する。 モデル性能の正確な予測に基づいて,k平均クラスタリングによる成層化を行うことで,効率的に推定できることを示す。 また、データセットのラベル付けされていない部分におけるモデル精度の予測を利用するモデル支援推定器は、一般的に従来の推定値よりも効率的であることがわかった。
  論文  参考訳（メタデータ） (2024-06-11T14:49:04Z)
• Few-Shot Load Forecasting Under Data Scarcity in Smart Grids: A Meta-Learning Approach [0.18641315013048293]
  本稿では,短期負荷予測のためのモデルに依存しないメタ学習アルゴリズムを提案する。 提案手法は,任意の長さの未知の負荷時間列に迅速に適応し,一般化することができる。 提案手法は,実世界の消費者の歴史的負荷消費データのデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-09T18:59:08Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies [35.29595714883275]
  我々は,Nadaraya-Watson推定器に対する効率的なスケッチベース近似を開発した。 サンプリングアルゴリズムは,4つのデータセットに対して,壁面時間と精度でベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-11-22T18:40:18Z)
• Stabilizing Subject Transfer in EEG Classification with Divergence Estimation [17.924276728038304]
  脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。 理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。 我々は、これらの関係を2段階で強制する正規化罰則を設計する。
  論文  参考訳（メタデータ） (2023-10-12T23:06:52Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)
• Complementary Ensemble Learning [1.90365714903665]
  我々は最先端のディープラーニングモデルの性能向上手法を考案した。 具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
  論文  参考訳（メタデータ） (2021-11-09T03:23:05Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。