論文の概要: MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge
- arxiv url: http://arxiv.org/abs/2205.12660v1
- Date: Wed, 25 May 2022 11:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 13:40:43.565202
- Title: MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge
- Title（参考訳）: MAPLE-X: 明示的マイクロプロセッサによる遅延予測
- Authors: Saad Abbasi, Alexander Wong, Mohammad Javad Shafiee
- Abstract要約: ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
- 参考スコア（独自算出の注目度）: 87.41163540910854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network (DNN) latency characterization is a time-consuming
process and adds significant cost to Neural Architecture Search (NAS) processes
when searching for efficient convolutional neural networks for embedded vision
applications. DNN Latency is a hardware dependent metric and requires direct
measurement or inference on target hardware. A recently introduced latency
estimation technique known as MAPLE predicts DNN execution time on previously
unseen hardware devices by using hardware performance counters. Leveraging
these hardware counters in the form of an implicit prior, MAPLE achieves
state-of-the-art performance in latency prediction. Here, we propose MAPLE-X
which extends MAPLE by incorporating explicit prior knowledge of hardware
devices and DNN architecture latency to better account for model stability and
robustness. First, by identifying DNN architectures that exhibit a similar
latency to each other, we can generate multiple virtual examples to
significantly improve the accuracy over MAPLE. Secondly, the hardware
specifications are used to determine the similarity between training and test
hardware to emphasize training samples captured from comparable devices
(domains) and encourages improved domain alignment. Experimental results using
a convolution neural network NAS benchmark across different types of devices,
including an Intel processor that is now used for embedded vision applications,
demonstrate a 5% improvement over MAPLE and 9% over HELP. Furthermore, we
include ablation studies to independently assess the benefits of virtual
examples and hardware-based sample importance.
- Abstract（参考訳）: deep neural network (dnn) latency characterizationは時間を要するプロセスであり、組み込み視覚アプリケーションのための効率的な畳み込みニューラルネットワークを探索する場合、ニューラルネットワーク検索(nas)プロセスに大きなコストがかかる。
dnn latencyはハードウェア依存のメトリクスであり、ターゲットハードウェアの直接測定や推論を必要とする。
MAPLEとして知られる最近導入された遅延推定手法は、ハードウェア性能カウンタを使用して、これまで見つからなかったハードウェアデバイス上でのDNN実行時間を予測している。
これらのハードウェアカウンタを暗黙の事前の形で活用することで、MAPLEはレイテンシ予測における最先端のパフォーマンスを達成する。
本稿では,ハードウェアデバイスの明示的な事前知識とdnnアーキテクチャのレイテンシを取り入れ,モデルの安定性とロバスト性を考慮したmaple-xを提案する。
まず、類似のレイテンシを示すDNNアーキテクチャを識別することにより、複数の仮想例を生成し、MAPLEよりも精度を大幅に向上させることができる。
第二に、ハードウェア仕様は、トレーニングとテストハードウェアの類似性を決定し、同等のデバイス(ドメイン)から取得したトレーニングサンプルを強調し、ドメインアライメントを改善することを奨励する。
様々な種類のデバイスにまたがる畳み込みニューラルネットワークnasベンチマークを用いた実験結果は、現在組み込み視覚アプリケーションで使われているintelプロセッサを含む、mapleよりも5%改善され、ヘルプよりも9%向上していることを示している。
さらに,仮想サンプルとハードウェアベースサンプルの重要性を独立に評価するためのアブレーション研究も含む。
関連論文リスト
- On Latency Predictors for Neural Architecture Search [8.564763702766776]
本稿では,ハードウェア・デバイス・セットの自動分割による遅延予測タスクの包括的スイートについて紹介する。
次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。
本稿では,本研究の結論に基づいて,エンドツーエンドの遅延予測学習戦略を提案する。
論文 参考訳（メタデータ） (2024-03-04T19:59:32Z) - Inference Latency Prediction at the Edge [0.3974789827371669]
State-of-the-art Neural Architecture(NA)は通常、NAS(Neural Architecture Search)を通じて設計され、精度と効率のトレードオフに優れたNAを識別する。
NAS中の巨大な候補アーキテクチャのレイテンシの測定はスケーラブルではないため、モバイルデバイス上でのエンドツーエンドの推論遅延を予測するためのアプローチが必要である。
本稿では,これらの課題に対処する遅延予測フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T00:46:06Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。
MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。
また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2022-04-27T14:00:48Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-03-23T13:44:15Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳（メタデータ） (2021-11-30T03:52:15Z) - HELP: Hardware-Adaptive Efficient Latency Predictor for NAS via
Meta-Learning [43.751220068642624]
ハードウェア適応型予測器(HELP)は、メタ学習問題としてデバイス固有の遅延推定問題である。
レイテンシを出力するブラックボックス関数として考慮し,ハードウェア適応型遅延予測器をデバイス依存でメタ学習する,新たなハードウェア埋め込みを導入する。
提案するHELPの遅延推定性能について検証し,最大10個の測定サンプルを用いて高い推定性能を達成し,関連するベースラインを全て上回る結果を得た。
論文 参考訳（メタデータ） (2021-06-16T08:36:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。