論文の概要: OODIn: An Optimised On-Device Inference Framework for Heterogeneous
Mobile Devices
- arxiv url: http://arxiv.org/abs/2106.04723v1
- Date: Tue, 8 Jun 2021 22:38:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:21:29.186076
- Title: OODIn: An Optimised On-Device Inference Framework for Heterogeneous
Mobile Devices
- Title(参考訳): OODIn:不均一なモバイルデバイスのための最適化オンデバイス推論フレームワーク
- Authors: Stylianos I. Venieris and Ioannis Panopoulos and Iakovos S. Venieris
- Abstract要約: OODInは、異種モバイルデバイスにまたがるディープラーニングアプリの最適化されたデプロイのためのフレームワークである。
デバイスリソースとDLモデルのばらつきを、非常にパラメトリドな多層設計によって対処する。
高度に最適化されたプラットフォームおよびモデル対応設計よりも最大4.3倍、3.5倍の性能向上を実現している。
- 参考スコア(独自算出の注目度): 5.522962791793502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radical progress in the field of deep learning (DL) has led to unprecedented
accuracy in diverse inference tasks. As such, deploying DL models across mobile
platforms is vital to enable the development and broad availability of the
next-generation intelligent apps. Nevertheless, the wide and optimised
deployment of DL models is currently hindered by the vast system heterogeneity
of mobile devices, the varying computational cost of different DL models and
the variability of performance needs across DL applications. This paper
proposes OODIn, a framework for the optimised deployment of DL apps across
heterogeneous mobile devices. OODIn comprises a novel DL-specific software
architecture together with an analytical framework for modelling DL
applications that: (1) counteract the variability in device resources and DL
models by means of a highly parametrised multi-layer design; and (2) perform a
principled optimisation of both model- and system-level parameters through a
multi-objective formulation, designed for DL inference apps, in order to adapt
the deployment to the user-specified performance requirements and device
capabilities. Quantitative evaluation shows that the proposed framework
consistently outperforms status-quo designs across heterogeneous devices and
delivers up to 4.3x and 3.5x performance gain over highly optimised platform-
and model-aware designs respectively, while effectively adapting execution to
dynamic changes in resource availability.
- Abstract(参考訳): 深層学習(DL)分野における急進的な進歩は、多様な推論タスクにおいて前例のない精度を導いた。
そのため、モバイルプラットフォームにDLモデルをデプロイすることは、次世代のインテリジェントアプリの開発と広範な利用を可能にする上で不可欠である。
それでも、DLモデルの広範かつ最適化された展開は、現在、モバイルデバイスの膨大なシステムの不均一性、異なるDLモデルの計算コストの変化、DLアプリケーション間のパフォーマンス要求の変動によって妨げられている。
異種モバイルデバイス間でDLアプリケーションを最適化するためのフレームワークであるOODInを提案する。
OODIn comprises a novel DL-specific software architecture together with an analytical framework for modelling DL applications that: (1) counteract the variability in device resources and DL models by means of a highly parametrised multi-layer design; and (2) perform a principled optimisation of both model- and system-level parameters through a multi-objective formulation, designed for DL inference apps, in order to adapt the deployment to the user-specified performance requirements and device capabilities.
定量的評価により,提案フレームワークは異種デバイス間でのステータスクォイ設計を一貫して上回り,高度に最適化されたプラットフォームおよびモデル認識設計よりも最大4.3倍,3.5倍の性能向上を実現し,資源可用性の動的変化への実行を効果的に適用した。
関連論文リスト
- When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Enabling Resource-efficient AIoT System with Cross-level Optimization: A
survey [20.360136850102833]
この調査は、より自由なリソースパフォーマンストレードオフのために、より広い最適化スペースを提供することを目的としています。
様々なレベルに散らばる問題やテクニックを統合することで、読者のつながりを理解し、さらなる議論を促すことを目指している。
論文 参考訳(メタデータ) (2023-09-27T08:04:24Z) - LAMBO: Large Language Model Empowered Edge Intelligence [75.14984953011876]
モバイルエッジコンピューティング(MEC)のための LLM-based Offloading (LAMBO) フレームワークを提案する。
i) 入力埋め込み (IE) オフロードシステムの情報を制約で表現し、学習可能なベクターに高品質でプロンプトする (ii) 深いエンコーダと浅いデコーダを持つ意思決定モジュールである非対称エンコーダデコーダ (AED) モデル、 (iv) エキスパートフィードバック (ALEF) からのアクティブラーニング 動的環境変化に対応しながらAEDのデコーダ部分の微調整に使用できる。
論文 参考訳(メタデータ) (2023-08-29T07:25:42Z) - Aligning Optimization Trajectories with Diffusion Models for Constrained
Design Generation [17.164961143132473]
本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。
提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。
この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
論文 参考訳(メタデータ) (2023-05-29T09:16:07Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - SE(3)-DiffusionFields: Learning smooth cost functions for joint grasp
and motion optimization through diffusion [34.25379651790627]
本研究では,データ駆動型SE(3)コスト関数を拡散モデルとして学習する手法を提案する。
我々は6DoFグルーピングのためのSE(3)拡散モデルの学習に重点を置いており、関節グルーピングと運動最適化のための新しい枠組みを生み出している。
論文 参考訳(メタデータ) (2022-09-08T14:50:23Z) - Exploring the Impact of Virtualization on the Usability of the Deep
Learning Applications [1.527276935569975]
本研究では,4種類のディープラーニングアプリケーションのE2E推論時間に及ぼす4つの一般的な実行プラットフォームの影響を計測する。
注目すべき発見は、ソリューションアーキテクトがDLアプリケーションの特性を認識しなければならないことである。
論文 参考訳(メタデータ) (2021-12-17T21:51:34Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳(メタデータ) (2020-12-25T07:08:50Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z) - Dynamic Memory Induction Networks for Few-Shot Text Classification [84.88381813651971]
本稿では,テキスト分類のための動的メモリ誘導ネットワーク(DMIN)を提案する。
提案したモデルでは, miniRCV1 と ODIC データセット上での新たな最先端結果を実現し,最高の性能(精度)を24%向上させる。
論文 参考訳(メタデータ) (2020-05-12T12:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。