論文の概要: OODIn: An Optimised On-Device Inference Framework for Heterogeneous Mobile Devices

• arxiv url: http://arxiv.org/abs/2106.04723v1
• Date: Tue, 8 Jun 2021 22:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:21:29.186076
• Title: OODIn: An Optimised On-Device Inference Framework for Heterogeneous Mobile Devices
• Title（参考訳）: OODIn:不均一なモバイルデバイスのための最適化オンデバイス推論フレームワーク
• Authors: Stylianos I. Venieris and Ioannis Panopoulos and Iakovos S. Venieris
• Abstract要約: OODInは、異種モバイルデバイスにまたがるディープラーニングアプリの最適化されたデプロイのためのフレームワークである。 デバイスリソースとDLモデルのばらつきを、非常にパラメトリドな多層設計によって対処する。 高度に最適化されたプラットフォームおよびモデル対応設計よりも最大4.3倍、3.5倍の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 5.522962791793502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radical progress in the field of deep learning (DL) has led to unprecedented accuracy in diverse inference tasks. As such, deploying DL models across mobile platforms is vital to enable the development and broad availability of the next-generation intelligent apps. Nevertheless, the wide and optimised deployment of DL models is currently hindered by the vast system heterogeneity of mobile devices, the varying computational cost of different DL models and the variability of performance needs across DL applications. This paper proposes OODIn, a framework for the optimised deployment of DL apps across heterogeneous mobile devices. OODIn comprises a novel DL-specific software architecture together with an analytical framework for modelling DL applications that: (1) counteract the variability in device resources and DL models by means of a highly parametrised multi-layer design; and (2) perform a principled optimisation of both model- and system-level parameters through a multi-objective formulation, designed for DL inference apps, in order to adapt the deployment to the user-specified performance requirements and device capabilities. Quantitative evaluation shows that the proposed framework consistently outperforms status-quo designs across heterogeneous devices and delivers up to 4.3x and 3.5x performance gain over highly optimised platform- and model-aware designs respectively, while effectively adapting execution to dynamic changes in resource availability.
• Abstract（参考訳）: 深層学習(DL)分野における急進的な進歩は、多様な推論タスクにおいて前例のない精度を導いた。 そのため、モバイルプラットフォームにDLモデルをデプロイすることは、次世代のインテリジェントアプリの開発と広範な利用を可能にする上で不可欠である。 それでも、DLモデルの広範かつ最適化された展開は、現在、モバイルデバイスの膨大なシステムの不均一性、異なるDLモデルの計算コストの変化、DLアプリケーション間のパフォーマンス要求の変動によって妨げられている。 異種モバイルデバイス間でDLアプリケーションを最適化するためのフレームワークであるOODInを提案する。 OODIn comprises a novel DL-specific software architecture together with an analytical framework for modelling DL applications that: (1) counteract the variability in device resources and DL models by means of a highly parametrised multi-layer design; and (2) perform a principled optimisation of both model- and system-level parameters through a multi-objective formulation, designed for DL inference apps, in order to adapt the deployment to the user-specified performance requirements and device capabilities. 定量的評価により,提案フレームワークは異種デバイス間でのステータスクォイ設計を一貫して上回り,高度に最適化されたプラットフォームおよびモデル認識設計よりも最大4.3倍,3.5倍の性能向上を実現し,資源可用性の動的変化への実行を効果的に適用した。

関連論文リスト

• AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment [13.977849745488339]
  AmoebaLLMは任意の形状の大規模言語モデルの即時導出を可能にする新しいフレームワークである。 AmoebaLLMは、様々なプラットフォームやアプリケーションに適した迅速なデプロイメントを著しく促進する。
  論文  参考訳（メタデータ） (2024-11-15T22:02:28Z)
• Automatically Learning Hybrid Digital Twins of Dynamical Systems [56.69628749813084]
  Digital Twins (DT)は、現実世界のシステムの状態と時間力学をシミュレートする。 DTは、しばしばデータスカース設定で目に見えない条件に一般化するのに苦労します。 本稿では,HDTwinsを自律的に提案し,評価し,最適化するための進化的アルゴリズム(textbfHDTwinGen$)を提案する。
  論文  参考訳（メタデータ） (2024-10-31T07:28:22Z)
• Vehicle Suspension Recommendation System: Multi-Fidelity Neural Network-based Mechanism Design Optimization [4.038368925548051]
  自動車のサスペンションは運転性能と乗り心地を改善するように設計されているが、環境によって異なる種類が利用できる。 従来の設計プロセスは多段階であり、設計候補の数を徐々に減らし、目標性能を満たすためにコスト分析を行う。 近年、AIモデルはFAAの計算コストの削減に利用されている。
  論文  参考訳（メタデータ） (2024-10-03T23:54:03Z)
• Deep Learning Inference on Heterogeneous Mobile Processors: Potentials and Pitfalls [22.49750818224266]
  リアルタイムなインテリジェントなアプリケーションのために、リソース制約のあるモバイルデバイスに計算集約型ディープラーニング(DL)モデルをデプロイする需要が高まっている。 モバイルデバイスは、異種プロセッサ間の並列実行を通じてDL推論を加速する可能性を秘めている。 本稿では、異種モバイルプロセッサ上での並列DL推論に関連する機能と課題を評価するための総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-05-03T04:47:23Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Enabling Resource-efficient AIoT System with Cross-level Optimization: A survey [20.360136850102833]
  この調査は、より自由なリソースパフォーマンストレードオフのために、より広い最適化スペースを提供することを目的としています。 様々なレベルに散らばる問題やテクニックを統合することで、読者のつながりを理解し、さらなる議論を促すことを目指している。
  論文  参考訳（メタデータ） (2023-09-27T08:04:24Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。