論文の概要: Towards A Flexible Accuracy-Oriented Deep Learning Module Inference
Latency Prediction Framework for Adaptive Optimization Algorithms
- arxiv url: http://arxiv.org/abs/2312.06440v1
- Date: Mon, 11 Dec 2023 15:15:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 15:04:56.112344
- Title: Towards A Flexible Accuracy-Oriented Deep Learning Module Inference
Latency Prediction Framework for Adaptive Optimization Algorithms
- Title(参考訳): 適応最適化アルゴリズムのためのフレキシブルな精度指向深層学習モジュール推論遅延予測フレームワークの提案
- Authors: Jingran Shen, Nikos Tziritas, Georgios Theodoropoulos
- Abstract要約: 本稿では,ディープラーニングモジュール推論遅延予測フレームワークを提案する。
DNNモジュールごとに複数のRMをトレーニングするために、カスタマイズ可能な入力パラメータのセットをホストする。
トレーニングされたRMのセットを自動的に選択し、全体的な予測精度が最高になる。
- 参考スコア(独自算出の注目度): 0.552480439325792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid development of Deep Learning, more and more applications on
the cloud and edge tend to utilize large DNN (Deep Neural Network) models for
improved task execution efficiency as well as decision-making quality. Due to
memory constraints, models are commonly optimized using compression, pruning,
and partitioning algorithms to become deployable onto resource-constrained
devices. As the conditions in the computational platform change dynamically,
the deployed optimization algorithms should accordingly adapt their solutions.
To perform frequent evaluations of these solutions in a timely fashion, RMs
(Regression Models) are commonly trained to predict the relevant solution
quality metrics, such as the resulted DNN module inference latency, which is
the focus of this paper. Existing prediction frameworks specify different RM
training workflows, but none of them allow flexible configurations of the input
parameters (e.g., batch size, device utilization rate) and of the selected RMs
for different modules. In this paper, a deep learning module inference latency
prediction framework is proposed, which i) hosts a set of customizable input
parameters to train multiple different RMs per DNN module (e.g., convolutional
layer) with self-generated datasets, and ii) automatically selects a set of
trained RMs leading to the highest possible overall prediction accuracy, while
keeping the prediction time / space consumption as low as possible.
Furthermore, a new RM, namely MEDN (Multi-task Encoder-Decoder Network), is
proposed as an alternative solution. Comprehensive experiment results show that
MEDN is fast and lightweight, and capable of achieving the highest overall
prediction accuracy and R-squared value. The Time/Space-efficient
Auto-selection algorithm also manages to improve the overall accuracy by 2.5%
and R-squared by 0.39%, compared to the MEDN single-selection scheme.
- Abstract(参考訳): ディープラーニングの急速な開発により、クラウドやエッジ上のアプリケーションがますます多くなり、大きなDNN(Deep Neural Network)モデルを使用してタスクの実行効率と意思決定品質を改善する傾向にある。
メモリ制約のため、モデルは通常、圧縮、プルーニング、パーティショニングアルゴリズムを使用して最適化され、リソース制約のあるデバイスにデプロイできる。
計算プラットフォームの条件が動的に変化するにつれて、デプロイされた最適化アルゴリズムはそのソリューションに適応すべきである。
これらの解の頻繁な評価をタイムリーに行うために、RM(Regression Models)は一般的に、DNNモジュールの推論遅延などの関連する解品質指標を予測するために訓練される。
既存の予測フレームワークは異なるrmトレーニングワークフローを指定するが、いずれも異なるモジュールの入力パラメータ(バッチサイズ、デバイス利用率など)と選択されたrmの柔軟な設定を許可しない。
本稿では,ディープラーニングモジュール推論遅延予測フレームワークを提案する。
i) DNNモジュールごとに複数の異なるRM(例えば畳み込み層)を自己生成データセットでトレーニングするために、カスタマイズ可能な入力パラメータのセットをホストする。
ii) 予測時間/空間消費量を可能な限り低く保ちながら、最も高い予測精度につながる訓練されたrmのセットを自動的に選択する。
さらに,新しいrmである medn (multi-task encoder-decoder network) を代替として提案する。
総合的な実験結果から,MEDNは高速かつ軽量であり,総合的な予測精度とR2乗値を達成することができることがわかった。
時間/空間効率のオートセレクションアルゴリズムは、MEDNのシングルセレクション方式と比較して、全体の精度を2.5%、R-2乗を0.39%向上させる。
関連論文リスト
- Deep learning enhanced mixed integer optimization: Learning to reduce
model dimensionality [0.0]
この研究は、MIP(Mixed-Integer Programming)モデルに固有の計算複雑性に対処するフレームワークを導入する。
フィードフォワードニューラルネットワーク(ANN)と畳み込みニューラルネットワーク(CNN)のMIP問題における活性次元の近似における有効性を比較した。
論文 参考訳(メタデータ) (2024-01-17T19:15:13Z) - Towards Hyperparameter-Agnostic DNN Training via Dynamical System
Insights [4.513581513983453]
本稿では,ディープニューラルネットワーク(DNN),ECCO-DNNに特化した一階最適化手法を提案する。
本手法は, 最適変数軌道を動的システムとしてモデル化し, 軌道形状に基づいてステップサイズを適応的に選択する離散化アルゴリズムを開発する。
論文 参考訳(メタデータ) (2023-10-21T03:45:13Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Augmented Random Search for Multi-Objective Bayesian Optimization of
Neural Networks [1.4050836886292872]
ディープニューラルネットワーク(DNN)の圧縮に多目的最適化アプローチを用いることができる
本稿では,RL(Augmented Random Search Reinforcement Learning)エージェントを用いて学習した,競合するパラメトリックポリシーのアンサンブルに基づく新しい解法を提案する。
提案手法は, DNNの予測精度, 所定のターゲットシステムにおけるメモリ消費量, 計算複雑性の相違点を明らかにすることを目的としている。
論文 参考訳(メタデータ) (2023-05-23T14:31:52Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-22T23:53:14Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - A Privacy-Preserving-Oriented DNN Pruning and Mobile Acceleration
Framework [56.57225686288006]
モバイルエッジデバイスの限られたストレージとコンピューティング能力を満たすために、ディープニューラルネットワーク(DNN)の軽量プルーニングが提案されている。
従来のプルーニング手法は主に、ユーザデータのプライバシを考慮せずに、モデルのサイズを減らしたり、パフォーマンスを向上させることに重点を置いていた。
プライベートトレーニングデータセットを必要としないプライバシ保護指向のプルーニングおよびモバイルアクセラレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-13T23:52:03Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2~5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳(メタデータ) (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。