論文の概要: HELP: Hardware-Adaptive Efficient Latency Predictor for NAS via
Meta-Learning
- arxiv url: http://arxiv.org/abs/2106.08630v1
- Date: Wed, 16 Jun 2021 08:36:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:17:31.294211
- Title: HELP: Hardware-Adaptive Efficient Latency Predictor for NAS via
Meta-Learning
- Title（参考訳）: HELP:メタラーニングによるNASのハードウェア適応型遅延予測器
- Authors: Hayeon Lee, Sewoong Lee, Song Chong, Sung Ju Hwang
- Abstract要約: ハードウェア適応型予測器(HELP)は、メタ学習問題としてデバイス固有の遅延推定問題である。
レイテンシを出力するブラックボックス関数として考慮し,ハードウェア適応型遅延予測器をデバイス依存でメタ学習する,新たなハードウェア埋め込みを導入する。
提案するHELPの遅延推定性能について検証し,最大10個の測定サンプルを用いて高い推定性能を達成し,関連するベースラインを全て上回る結果を得た。
- 参考スコア（独自算出の注目度）: 43.751220068642624
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For deployment, neural architecture search should be hardware-aware, in order
to satisfy the device-specific constraints (e.g., memory usage, latency and
energy consumption) and enhance the model efficiency. Existing methods on
hardware-aware NAS collect a large number of samples (e.g., accuracy and
latency) from a target device, either builds a lookup table or a latency
estimator. However, such approach is impractical in real-world scenarios as
there exist numerous devices with different hardware specifications, and
collecting samples from such a large number of devices will require prohibitive
computational and monetary cost. To overcome such limitations, we propose
Hardware-adaptive Efficient Latency Predictor (HELP), which formulates the
device-specific latency estimation problem as a meta-learning problem, such
that we can estimate the latency of a model's performance for a given task on
an unseen device with a few samples. To this end, we introduce novel hardware
embeddings to embed any devices considering them as black-box functions that
output latencies, and meta-learn the hardware-adaptive latency predictor in a
device-dependent manner, using the hardware embeddings. We validate the
proposed HELP for its latency estimation performance on unseen platforms, on
which it achieves high estimation performance with as few as 10 measurement
samples, outperforming all relevant baselines. We also validate end-to-end NAS
frameworks using HELP against ones without it, and show that it largely reduces
the total time cost of the base NAS method, in latency-constrained settings.
- Abstract（参考訳）: デプロイメントでは、デバイス固有の制約(メモリ使用量、レイテンシ、エネルギー消費など)を満たし、モデルの効率を高めるために、ニューラルネットワーク検索はハードウェア対応であるべきだ。
既存のハードウェア対応NASの方法は、ターゲットデバイスから多数のサンプル(例えば、精度とレイテンシ)を収集し、ルックアップテーブルまたは遅延推定器を構築する。
しかし、そのようなアプローチは、様々なハードウェア仕様のデバイスが多数存在する現実のシナリオでは実践不可能であり、そのような多数のデバイスからサンプルを収集するには、計算と金銭的コストを禁ずる必要がある。
このような制約を克服するため,ハードウェア適応型高効率遅延予測器 (HELP) を提案する。これは,デバイス固有の遅延推定問題をメタラーニング問題として定式化し,与えられたタスクに対するモデルの性能の遅延をサンプル数個で推定する。
そこで本研究では,遅延を出力するブラックボックス関数とみなすデバイスを組み込み可能なハードウェア埋め込みを導入し,ハードウェア埋め込みを用いてハードウェア適応型遅延予測器をデバイス依存方式でメタ学習する。
提案するHELPの遅延推定性能について検証し,最大10個の測定サンプルを用いて高い推定性能を達成し,関連するベースラインを全て上回る結果を得た。
また、HELPを使用せずに使用するエンドツーエンドNASフレームワークの検証を行い、遅延制約のある設定において、基本NAS手法のトータル時間コストを大幅に削減することを示す。
関連論文リスト
- On Latency Predictors for Neural Architecture Search [8.564763702766776]
本稿では,ハードウェア・デバイス・セットの自動分割による遅延予測タスクの包括的スイートについて紹介する。
次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。
本稿では,本研究の結論に基づいて,エンドツーエンドの遅延予測学習戦略を提案する。
論文 参考訳（メタデータ） (2024-03-04T19:59:32Z) - Inference Latency Prediction at the Edge [0.3974789827371669]
State-of-the-art Neural Architecture(NA)は通常、NAS(Neural Architecture Search)を通じて設計され、精度と効率のトレードオフに優れたNAを識別する。
NAS中の巨大な候補アーキテクチャのレイテンシの測定はスケーラブルではないため、モバイルデバイス上でのエンドツーエンドの推論遅延を予測するためのアプローチが必要である。
本稿では,これらの課題に対処する遅延予測フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T00:46:06Z) - MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。
ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
論文 参考訳（メタデータ） (2022-05-25T11:08:20Z) - MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。
MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。
また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
論文 参考訳（メタデータ） (2022-04-27T14:00:48Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-03-23T13:44:15Z) - MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。
評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。
転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
論文 参考訳（メタデータ） (2021-11-30T03:52:15Z) - One Proxy Device Is Enough for Hardware-Aware Neural Architecture Search [21.50120377137633]
畳み込みニューラルネットワーク(CNN)は、ビジョンベースの自律運転やビデオコンテンツ分析など、多くの現実世界のアプリケーションで使用されている。
さまざまなターゲットデバイス上でCNN推論を実行するためには、ハードウェア対応のニューラルアーキテクチャサーチ(NAS)が不可欠である。
本稿では、遅延単調性を大幅に向上させる効率的なプロキシ適応手法を提案する。
論文 参考訳（メタデータ） (2021-11-01T18:56:42Z) - LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud
Networks [73.78551758828294]
LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。
検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
論文 参考訳（メタデータ） (2020-08-24T10:30:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。