論文の概要: SplitEE: Early Exit in Deep Neural Networks with Split Computing

• arxiv url: http://arxiv.org/abs/2309.09195v1
• Date: Sun, 17 Sep 2023 07:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 17:04:46.016596
• Title: SplitEE: Early Exit in Deep Neural Networks with Split Computing
• Title（参考訳）: SplitEE: Split Computingによるディープニューラルネットワークの早期流出
• Authors: Divya J. Bajpai, Vivek K. Trivedi, Sohan L. Yadav, and Manjesh K. Hanawal
• Abstract要約: ディープニューラルネットワーク(DNN)は、様々なタスクにおける優れたパフォーマンスのために注目を集めている。 リソース制約のあるデバイスに本格的なDNNをデプロイするのは、そのサイズが大きいため難しい。 分割計算における早期出口を用いた2つの手法の組み合わせを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have drawn attention because of their outstanding performance on various tasks. However, deploying full-fledged DNNs in resource-constrained devices (edge, mobile, IoT) is difficult due to their large size. To overcome the issue, various approaches are considered, like offloading part of the computation to the cloud for final inference (split computing) or performing the inference at an intermediary layer without passing through all layers (early exits). In this work, we propose combining both approaches by using early exits in split computing. In our approach, we decide up to what depth of DNNs computation to perform on the device (splitting layer) and whether a sample can exit from this layer or need to be offloaded. The decisions are based on a weighted combination of accuracy, computational, and communication costs. We develop an algorithm named SplitEE to learn an optimal policy. Since pre-trained DNNs are often deployed in new domains where the ground truths may be unavailable and samples arrive in a streaming fashion, SplitEE works in an online and unsupervised setup. We extensively perform experiments on five different datasets. SplitEE achieves a significant cost reduction ($>50\%$) with a slight drop in accuracy ($<2\%$) as compared to the case when all samples are inferred at the final layer. The anonymized source code is available at \url{https://anonymous.4open.science/r/SplitEE_M-B989/README.md}.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々なタスクにおける優れたパフォーマンスのために注目を集めている。 しかし、リソース制約のあるデバイス(エッジ、モバイル、IoT)に本格的なDNNをデプロイするのは、サイズが大きいため難しい。 この問題を克服するため、最終推論(スプリットコンピューティング)のために計算の一部をクラウドにオフロードしたり、すべての層(初期出口)を通さずに中間層で推論を実行するといった様々なアプローチが検討されている。 本研究では,分割計算における早期出口を用いた両手法の組み合わせを提案する。 提案手法では,デバイス上でのDNN計算の深さ(分割層)と,サンプルがこの層から離脱可能か,オフロードが必要かを決定する。 決定は、正確性、計算量、通信コストの重み付けの組み合わせに基づいている。 最適なポリシーを学ぶためにSplitEEというアルゴリズムを開発した。 トレーニング済みのDNNは、地上の真実が利用できず、サンプルがストリーミング形式で到着する可能性のある新しいドメインにデプロイされることが多いため、SplitEEはオンラインかつ教師なしのセットアップで動作する。 5つの異なるデータセットの実験を幅広く実施する。 SplitEEは、最終層で全てのサンプルが推測される場合と比較して、わずかな精度の低下(<2\%$)で、大幅なコスト削減(>50\%$)を達成する。 匿名のソースコードは \url{https://anonymous.4open.science/r/SplitEE_M-B989/README.md} で入手できる。

関連論文リスト

• Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach [5.402030962296633]
  ディープニューラルネットワーク(DNN)は、様々な領域で優れたパフォーマンスを示している。 小型のDNNをモバイル、エッジの大型バージョン、クラウドのフルフローにデプロイできる分散推論設定を使用することができる。 DNNにおける推論遅延を最小限に抑えるために,Early Exit(EE)戦略を利用した新しい手法を開発した。
  論文  参考訳（メタデータ） (2024-10-06T20:14:27Z)
• Early-exit Convolutional Neural Networks [10.320641540183198]
  EENetsは、特定の出口で推論処理を停止させることにより、入力に基づいて計算コストを適応させる。 EENetは、計算コストを元の20%に削減しながら、EE以外のバージョンと同じような精度を達成する。
  論文  参考訳（メタデータ） (2024-09-09T05:29:38Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• I-SplitEE: Image classification in Split Computing DNNs with Early Exits [5.402030962296633]
  大規模なDeep Neural Networks(DNN)は、エッジやモバイル、IoTプラットフォームといったリソース制約のあるデバイスにデプロイするのを妨げる。 我々の研究は、アーリーエグジットとスプリットコンピューティングを融合した革新的な統一アプローチを提示している。 I-SplitEEは、地上の真実とシーケンシャルなデータを持たないシナリオに理想的なオンラインの教師なしアルゴリズムである。
  論文  参考訳（メタデータ） (2024-01-19T07:44:32Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• DEFER: Distributed Edge Inference for Deep Neural Networks [5.672898304129217]
  分散エッジ推論のためのフレームワークであるDEFERを提案する。 ディープニューラルネットワークを複数の計算ノードに分散可能なレイヤに分割する。 ResNet50モデルでは、8ノードのDEFERの推論スループットは53%高く、ノード当たりのエネルギー消費量は1デバイス当たりの推測よりも63%低いことがわかった。
  論文  参考訳（メタデータ） (2022-01-18T06:50:45Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。