論文の概要: Scaling Up Deep Neural Network Optimization for Edge Inference
- arxiv url: http://arxiv.org/abs/2009.00278v3
- Date: Thu, 17 Sep 2020 07:41:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 00:33:56.805209
- Title: Scaling Up Deep Neural Network Optimization for Edge Inference
- Title（参考訳）: エッジ推論のためのディープニューラルネットワーク最適化のスケールアップ
- Authors: Bingqian Lu, Jianyi Yang, and Shaolei Ren
- Abstract要約: ディープニューラルネットワーク(DNN)は、携帯電話、ドローン、ロボット、ウェアラブルといったエッジデバイスにますますデプロイされ、統合されている。
DNN推論を直接エッジデバイス(エッジ推論)で実行するためには、DNN設計を最適化することが不可欠である。
まず、プロキシデバイス上に構築された性能予測器を再利用し、性能単調性を利用してDNN最適化をスケールアップする。
第2のアプローチでは、見積もりが可能なスケーラブルなパフォーマンス予測器を構築します。
- 参考スコア（独自算出の注目度）: 20.9711130126031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have been increasingly deployed on and integrated
with edge devices, such as mobile phones, drones, robots and wearables. To run
DNN inference directly on edge devices (a.k.a. edge inference) with a
satisfactory performance, optimizing the DNN design (e.g., network architecture
and quantization policy) is crucial. While state-of-the-art DNN designs have
leveraged performance predictors to speed up the optimization process, they are
device-specific (i.e., each predictor for only one target device) and hence
cannot scale well in the presence of extremely diverse edge devices. Moreover,
even with performance predictors, the optimizer (e.g., search-based
optimization) can still be time-consuming when optimizing DNNs for many
different devices. In this work, we propose two approaches to scaling up DNN
optimization. In the first approach, we reuse the performance predictors built
on a proxy device, and leverage the performance monotonicity to scale up the
DNN optimization without re-building performance predictors for each different
device. In the second approach, we build scalable performance predictors that
can estimate the resulting performance (e.g., inference
accuracy/latency/energy) given a DNN-device pair, and use a neural
network-based automated optimizer that takes both device features and
optimization parameters as input and then directly outputs the optimal DNN
design without going through a lengthy optimization process for each individual
device.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、携帯電話、ドローン、ロボット、ウェアラブルといったエッジデバイスにますますデプロイされ、統合されている。
DNN推論を直接エッジデバイス(エッジ推論)で実行するためには、DNN設計(ネットワークアーキテクチャや量子化ポリシーなど)を最適化することが不可欠である。
最先端のDNN設計では、最適化プロセスの高速化に性能予測器を活用しているが、デバイス固有の(すなわち1つのターゲットデバイスに対する各予測器)ため、非常に多様なエッジデバイスの存在下ではうまくスケールできない。
さらに、性能予測器でさえ、多くの異なるデバイスでDNNを最適化する場合、オプティマイザ(例えば検索ベースの最適化)は時間がかかる。
本稿では,DNN最適化のスケールアップのための2つのアプローチを提案する。
最初のアプローチでは、プロキシデバイス上に構築されたパフォーマンス予測器を再利用し、パフォーマンスの単調性を利用してDNN最適化をスケールアップする。
第2のアプローチでは、DNNデバイスペアに与えられた結果のパフォーマンス(例えば、推論精度/遅延/エネルギー)を推定できるスケーラブルなパフォーマンス予測器を構築し、デバイスの特徴と最適化パラメータの両方を入力として取り込むニューラルネットワークベースの自動最適化器を使用し、各デバイスに対して長い最適化プロセスを経ずに最適なDNN設計を直接出力する。
関連論文リスト
- PerfSAGE: Generalized Inference Performance Predictor for Arbitrary Deep
Learning Models on Edge Devices [8.272409756443539]
本稿では、任意のDNNliteグラフ上の推論遅延、エネルギー、メモリフットプリントを予測する新しいグラフニューラルネットワークであるPerfSAGEについて述べる。
このデータセットを用いて、PerfSAGEをトレーニングし、すべてのターゲットとモデル検索空間にわたって平均絶対パーセンテージ誤差の5%で最先端の予測精度を示す実験結果を提供する。
論文 参考訳（メタデータ） (2023-01-26T08:59:15Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on
Edge Devices [19.335535517714703]
エッジへの展開後のディープニューラルネットワーク(DNN)の予測精度は、新しいデータの分布の変化によって、時間とともに低下する可能性がある。
バッチ正規化パラメータを再調整することにより、ノイズデータに対するモデルの予測精度を向上させるため、近年の予測時間非教師なしDNN適応技術が導入されている。
本論文は, 各種エッジデバイスの性能とエネルギーを定量化するために, この種の技術に関する総合的な研究を初めて行ったものである。
論文 参考訳（メタデータ） (2022-03-21T19:10:40Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳（メタデータ） (2021-06-07T11:37:03Z) - Automated Design Space Exploration for optimised Deployment of DNN on
Arm Cortex-A CPUs [13.628734116014819]
組み込みデバイスにおけるディープラーニングは、ディープニューラルネットワーク(DNN)のデプロイを最適化する多くの方法の開発を促している。
テストし、グローバルに最適化されたソリューションを得るには、アプローチの空間が大きすぎるため、クロスレベル最適化に関する研究が不足している。
我々は、Arm Cortex-A CPUプラットフォーム上での最先端DNNの一連の結果を示し、最大4倍の性能向上とメモリの2倍以上の削減を実現した。
論文 参考訳（メタデータ） (2020-06-09T11:00:06Z) - Daydream: Accurately Estimating the Efficacy of Optimizations for DNN
Training [8.157520622932374]
プロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか?
プログラマがDNN最適化の有効性を効率的に探求するのに役立つ新しいプロファイリングツールであるDaydreamを提案する。
本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。
論文 参考訳（メタデータ） (2020-06-05T09:08:16Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T23:52:03Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。