論文の概要: SmartSplit: Latency-Energy-Memory Optimisation for CNN Splitting on
Smartphone Environment
- arxiv url: http://arxiv.org/abs/2111.01077v1
- Date: Mon, 1 Nov 2021 16:40:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 16:19:54.253980
- Title: SmartSplit: Latency-Energy-Memory Optimisation for CNN Splitting on
Smartphone Environment
- Title(参考訳): SmartSplit: スマートフォン環境におけるCNN分割のためのレイテンシ・エネルギメモリ最適化
- Authors: Ishan Prakash, Aniruddh Bansal, Rohit Verma, Rajeev Shorey
- Abstract要約: We design SmartSplit, a genetic Algorithm with decision analysis based approach to solve the optimization problem。
複数のCNNモデルで実行される実験によると、スマートフォンとクラウドサーバの間でCNNを分割することは実現可能である。
- 参考スコア(独自算出の注目度): 1.6873748786804317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Intelligence has now taken centre stage in the smartphone industry
owing to the need of bringing all processing close to the user and addressing
privacy concerns. Convolution Neural Networks (CNNs), which are used by several
AI applications, are highly resource and computation intensive. Although new
generation smartphones come with AI-enabled chips, minimal memory and energy
utilisation is essential as many applications are run concurrently on a
smartphone. In light of this, optimising the workload on the smartphone by
offloading a part of the processing to a cloud server is an important direction
of research. In this paper, we analyse the feasibility of splitting CNNs
between smartphones and cloud server by formulating a multi-objective
optimisation problem that optimises the end-to-end latency, memory utilisation,
and energy consumption. We design SmartSplit, a Genetic Algorithm with decision
analysis based approach to solve the optimisation problem. Our experiments run
with multiple CNN models show that splitting a CNN between a smartphone and a
cloud server is feasible. The proposed approach, SmartSplit fares better when
compared to other state-of-the-art approaches.
- Abstract(参考訳): スマートフォン業界では、すべての処理をユーザに近づけて、プライバシの懸念に対処する必要性から、人工知能が中心的存在となっている。
複数のAIアプリケーションで使用されている畳み込みニューラルネットワーク(CNN)は、非常にリソースと計算集約性が高い。
次世代スマートフォンはAI対応チップを備えているが、多くのアプリケーションがスマートフォン上で同時に実行されるため、最小限のメモリとエネルギー利用が不可欠である。
これを踏まえると、処理の一部をクラウドサーバにオフロードすることで、スマートフォンのワークロードを最適化することは、研究の重要な方向である。
本稿では,スマートフォンとクラウドサーバ間でCNNを分割する可能性について,エンドツーエンドのレイテンシ,メモリ利用,エネルギー消費を最適化する多目的最適化問題を定式化することによって分析する。
我々は、最適化問題を解決するために、意思決定に基づくアプローチによる遺伝的アルゴリズムであるsmartsplitを設計した。
実験では複数のCNNモデルを用いて,スマートフォンとクラウドサーバのCNN分割が実現可能であることを示す。
提案されたアプローチであるSmartSplitは、他の最先端のアプローチよりも優れている。
関連論文リスト
- LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network
through Spatial-Temporal Compressive Network Search and Joint Optimization [51.9395471326897]
スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。
本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitESNNという新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-01-26T05:23:11Z) - Dynamic Semantic Compression for CNN Inference in Multi-access Edge
Computing: A Graph Reinforcement Learning-based Autoencoder [82.8833476520429]
部分オフロードにおける効果的な意味抽出と圧縮のための新しい意味圧縮手法であるオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
セマンティックエンコーダでは、CNNのチャネルアテンション機構に基づく特徴圧縮モジュールを導入し、最も情報性の高い特徴を選択して中間データを圧縮する。
セマンティックデコーダでは、受信した圧縮データから学習して中間データを再構築し、精度を向上させる軽量デコーダを設計する。
論文 参考訳(メタデータ) (2024-01-19T15:19:47Z) - Streaming Video Analytics On The Edge With Asynchronous Cloud Support [2.7456483236562437]
本稿では,エッジとクラウドの予測を融合させ,低レイテンシで高精度なエッジクラウド融合アルゴリズムを提案する。
ビデオのオブジェクト検出(多くのビデオ分析シナリオに適用可能)に注目し、融合したエッジクラウド予測が、エッジのみのシナリオとクラウドのみのシナリオの精度を最大50%上回ることを示す。
論文 参考訳(メタデータ) (2022-10-04T06:22:13Z) - Complexity-Driven CNN Compression for Resource-constrained Edge AI [1.6114012813668934]
本稿では,CNNの層レベルでの複雑さを生かして,新しい,計算効率の高いプルーニングパイプラインを提案する。
パラメータ認識(PA)、FLOP認識(FA)、メモリ認識(MA)の3つのモードを定義し、CNNの汎用圧縮を導入する。
論文 参考訳(メタデータ) (2022-08-26T16:01:23Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳(メタデータ) (2022-05-23T12:35:18Z) - EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision
Transformers [88.52500757894119]
自己注意に基づく視覚変換器(ViT)は、コンピュータビジョンにおける畳み込みニューラルネットワーク(CNN)に代わる、非常に競争力のあるアーキテクチャとして登場した。
われわれはEdgeViTsを紹介した。これは新しい軽量ViTのファミリーで、注目に基づく視覚モデルが初めて、最高の軽量CNNと競合することを可能にする。
論文 参考訳(メタデータ) (2022-05-06T18:17:19Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Smart at what cost? Characterising Mobile Deep Neural Networks in the
wild [16.684419342012674]
本稿では,野生におけるDeep Neural Network (DNN) の使用状況に関する総合的研究を行う。
われわれはGoogle Play Storeで最も人気のあるアプリの16万以上を分析している。
モバイルデプロイメントのコアコスト次元として,モデルのエネルギーフットプリントを測定します。
論文 参考訳(メタデータ) (2021-09-28T18:09:29Z) - Latency-Memory Optimized Splitting of Convolution Neural Networks for
Resource Constrained Edge Devices [1.6873748786804317]
我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。
実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
論文 参考訳(メタデータ) (2021-07-19T19:39:56Z) - CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity
Edge Devices [3.812706195714961]
我々は、NeuroEvolutionary(NE)学習と推論を実行するWiFiを介して通信するRaspberry Piのプロトタイプシステムを構築した。
本研究では,このような協調システムの性能を評価し,システムの異なる配置の計算/通信特性について詳述する。
論文 参考訳(メタデータ) (2020-08-27T01:49:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。