論文の概要: On Latency Predictors for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2403.02446v1
• Date: Mon, 4 Mar 2024 19:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 17:10:51.845885
• Title: On Latency Predictors for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のためのレイテンシ予測について
• Authors: Yash Akhauri, Mohamed S. Abdelfattah
• Abstract要約: 本稿では,ハードウェア・デバイス・セットの自動分割による遅延予測タスクの包括的スイートについて紹介する。 次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。 本稿では,本研究の結論に基づいて,エンドツーエンドの遅延予測学習戦略を提案する。
• 参考スコア（独自算出の注目度）: 8.564763702766776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient deployment of neural networks (NN) requires the co-optimization of accuracy and latency. For example, hardware-aware neural architecture search has been used to automatically find NN architectures that satisfy a latency constraint on a specific hardware device. Central to these search algorithms is a prediction model that is designed to provide a hardware latency estimate for a candidate NN architecture. Recent research has shown that the sample efficiency of these predictive models can be greatly improved through pre-training on some \textit{training} devices with many samples, and then transferring the predictor on the \textit{test} (target) device. Transfer learning and meta-learning methods have been used for this, but often exhibit significant performance variability. Additionally, the evaluation of existing latency predictors has been largely done on hand-crafted training/test device sets, making it difficult to ascertain design features that compose a robust and general latency predictor. To address these issues, we introduce a comprehensive suite of latency prediction tasks obtained in a principled way through automated partitioning of hardware device sets. We then design a general latency predictor to comprehensively study (1) the predictor architecture, (2) NN sample selection methods, (3) hardware device representations, and (4) NN operation encoding schemes. Building on conclusions from our study, we present an end-to-end latency predictor training strategy that outperforms existing methods on 11 out of 12 difficult latency prediction tasks, improving latency prediction by 22.5\% on average, and up to to 87.6\% on the hardest tasks. Focusing on latency prediction, our HW-Aware NAS reports a $5.8\times$ speedup in wall-clock time. Our code is available on \href{https://github.com/abdelfattah-lab/nasflat_latency}{https://github.com/abdelfattah-lab/nasflat\_latency}.
• Abstract（参考訳）: ニューラルネットワーク(nn)の効率的なデプロイには、精度とレイテンシの最適化が必要だ。 例えば、ハードウェア対応のニューラルアーキテクチャサーチは、特定のハードウェアデバイス上の遅延制約を満たすNNアーキテクチャを自動的に見つけるために使用されている。 これらの検索アルゴリズムの中心は、NNアーキテクチャのハードウェア遅延推定を提供するために設計された予測モデルである。 最近の研究では、多くのサンプルを持ついくつかの \textit{training} デバイスで事前トレーニングし、その後、予測器を \textit{test} (target) デバイスに転送することで、これらの予測モデルのサンプル効率を大幅に改善できることが示されている。 トランスファーラーニングやメタラーニングが使われてきたが、しばしば顕著な性能の変動を示す。 さらに、既存のレイテンシ予測器の評価は手作りのトレーニング/テストデバイスセットで行われているため、堅牢で一般的なレイテンシ予測器を構成する設計機能を確認することは困難である。 これらの問題に対処するために,ハードウェアデバイスセットの自動分割により,原理的に得られる遅延予測タスクの包括的スイートを導入する。 次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。 そこで本研究では,12課題のうち11課題のうち,従来の手法を上回り,平均で22.5%,最も難しいタスクでは最大87.6\%の遅延予測を改善した,エンドツーエンドのレイテンシ予測トレーニング戦略を提案する。 遅延予測に注目して、我々のHW-Aware NASは5.8\times$ speedup in wall-clock と報告しています。 私たちのコードは \href{https://github.com/abdelfattah-lab/nasflat_latency}{https://github.com/abdelfattah-lab/nasflat\_latency} で利用可能です。

関連論文リスト

• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• Multi-Predict: Few Shot Predictors For Efficient Neural Architecture Search [10.538869116366415]
  本研究では,複数のタスクやNAS検索空間上でのサンプル効率の予測を実現するため,ゼロコストプロキシに基づく新しい検索空間独立NN符号化を提案する。 NN符号化により,NASBench-201からFBNetへ85HW以下の遅延予測器のマルチ検索空間転送が可能となった。
  論文  参考訳（メタデータ） (2023-06-04T20:22:14Z)
• Inference Latency Prediction at the Edge [0.3974789827371669]
  State-of-the-art Neural Architecture(NA)は通常、NAS(Neural Architecture Search)を通じて設計され、精度と効率のトレードオフに優れたNAを識別する。 NAS中の巨大な候補アーキテクチャのレイテンシの測定はスケーラブルではないため、モバイルデバイス上でのエンドツーエンドの推論遅延を予測するためのアプローチが必要である。 本稿では,これらの課題に対処する遅延予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T00:46:06Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge [87.41163540910854]
  ディープニューラルネットワーク(DNN)レイテンシのキャラクタリゼーションは、時間を要するプロセスである。 ハードウェアデバイスの事前知識とDNNアーキテクチャのレイテンシを具体化し,MAPLEを拡張したMAPLE-Xを提案する。
  論文  参考訳（メタデータ） (2022-05-25T11:08:20Z)
• MAPLE: Microprocessor A Priori for Latency Estimation [81.91509153539566]
  現代のディープニューラルネットワークは、低レイテンシとエネルギー消費を示しながら最先端の精度を示す必要がある。 評価されたアーキテクチャのレイテンシの測定は、NASプロセスにかなりの時間を加えます。 転送学習やドメイン適応に依存しない推定用マイクロプロセッサAプライオリティを提案する。
  論文  参考訳（メタデータ） (2021-11-30T03:52:15Z)
• Generalized Latency Performance Estimation for Once-For-All Neural Architecture Search [0.0]
  特定のハードウェアとNAS検索空間で訓練されたベースモデルを用いた微調整を含む2つの汎用性戦略を紹介します。 ProxylessNASに比べて50%以上低いRMSE損失を達成できる待ち時間予測モデル群を提供する。
  論文  参考訳（メタデータ） (2021-01-04T00:48:09Z)
• LETI: Latency Estimation Tool and Investigation of Neural Networks inference on Mobile GPU [0.0]
  本研究では,モバイルGPUのレイテンシ近似をデータおよびハードウェア固有の問題として検討する。 私たちは、さまざまなターゲットデバイスで大規模な実験を行うための便利な方法を提供する、オープンソースのツールを構築しています。 我々は、一般的なNAS-Benchmark 101データセットのサブセットに対するそのようなアプローチの適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2020-10-06T16:51:35Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Latency-Aware Differentiable Neural Architecture Search [113.35689580508343]
  近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。 しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。 本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
  論文  参考訳（メタデータ） (2020-01-17T15:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。