論文の概要: Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach

• arxiv url: http://arxiv.org/abs/2410.05338v1
• Date: Sun, 6 Oct 2024 20:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:17:28.614918
• Title: Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach
• Title（参考訳）: モバイルエッジとクラウド上の分散推論 - 早期排他的クラスタリングアプローチ
• Authors: Divya Jyoti Bajpai, Manjesh Kumar Hanawal,
• Abstract要約: ディープニューラルネットワーク(DNN)は、様々な領域で優れたパフォーマンスを示している。 小型のDNNをモバイル、エッジの大型バージョン、クラウドのフルフローにデプロイできる分散推論設定を使用することができる。 DNNにおける推論遅延を最小限に抑えるために,Early Exit(EE)戦略を利用した新しい手法を開発した。
• 参考スコア（独自算出の注目度）: 5.402030962296633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Deep Neural Networks (DNNs) have demonstrated outstanding performance across various domains. However, their large size is a challenge for deployment on resource-constrained devices such as mobile, edge, and IoT platforms. To overcome this, a distributed inference setup can be used where a small-sized DNN (initial few layers) can be deployed on mobile, a bigger version on the edge, and the full-fledged, on the cloud. A sample that has low complexity (easy) could be then inferred on mobile, that has moderate complexity (medium) on edge, and higher complexity (hard) on the cloud. As the complexity of each sample is not known beforehand, the following question arises in distributed inference: how to decide complexity so that it is processed by enough layers of DNNs. We develop a novel approach named DIMEE that utilizes Early Exit (EE) strategies developed to minimize inference latency in DNNs. DIMEE aims to improve the accuracy, taking into account the offloading cost from mobile to edge/cloud. Experimental validation on GLUE datasets, encompassing various NLP tasks, shows that our method significantly reduces the inference cost (> 43%) while maintaining a minimal drop in accuracy (< 0.3%) compared to the case where all the inference is made in cloud.
• Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)の進歩は、様々な領域で顕著な性能を示している。 しかし、その大きなサイズは、モバイル、エッジ、IoTプラットフォームといったリソース制約のあるデバイスにデプロイする上での課題である。 これを解決するために、小さなDNN(最初は少数のレイヤ)をモバイルに、大きなバージョンをエッジに、完全なバージョンをクラウドにデプロイする分散推論設定を使用することができる。 複雑さの低いサンプル(容易)は、モバイル上で推測され、エッジでは適度な複雑性(medium)、クラウドでは高い複雑性(hard)を持つ。 各サンプルの複雑さは事前に分かっていないため、分散推論では、DNNの十分な層によって処理されるように、どのように複雑さを決定するかという疑問が生じる。 我々は、DNNにおける推論遅延を最小限に抑えるために、Early Exit(EE)戦略を利用するDIMEEという新しいアプローチを開発した。 DIMEEは、モバイルからエッジ/クラウドへのオフロードコストを考慮して、精度の向上を目指している。 各種NLPタスクを含むGLUEデータセットに対する実験的検証により,提案手法は,クラウド上での推論を行う場合と比較して,最小の精度低下(0.3%)を維持しつつ,推論コスト(>43%)を著しく低減することが示された。

関連論文リスト

• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• I-SplitEE: Image classification in Split Computing DNNs with Early Exits [5.402030962296633]
  大規模なDeep Neural Networks(DNN)は、エッジやモバイル、IoTプラットフォームといったリソース制約のあるデバイスにデプロイするのを妨げる。 我々の研究は、アーリーエグジットとスプリットコンピューティングを融合した革新的な統一アプローチを提示している。 I-SplitEEは、地上の真実とシーケンシャルなデータを持たないシナリオに理想的なオンラインの教師なしアルゴリズムである。
  論文  参考訳（メタデータ） (2024-01-19T07:44:32Z)
• Streaming Video Analytics On The Edge With Asynchronous Cloud Support [2.7456483236562437]
  本稿では,エッジとクラウドの予測を融合させ,低レイテンシで高精度なエッジクラウド融合アルゴリズムを提案する。 ビデオのオブジェクト検出(多くのビデオ分析シナリオに適用可能)に注目し、融合したエッジクラウド予測が、エッジのみのシナリオとクラウドのみのシナリオの精度を最大50%上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T06:22:13Z)
• Decentralized Low-Latency Collaborative Inference via Ensembles on the Edge [28.61344039233783]
  本稿では,複数のユーザが推論中に協力して精度を向上させることで,エッジ上でのディープニューラルネットワーク(DNN)の適用を容易にすることを提案する。 私たちのメカニズムは、エッジアンサンブル(em edge ensembles)と呼ばれ、各デバイスに様々な予測子を持ち、推論中にモデルのアンサンブルを形成する。 エッジアンサンブルによって引き起こされる遅延を分析し、その性能改善は、通信ネットワーク上の一般的な前提の下で、わずかな追加遅延のコストで生じることを示す。
  論文  参考訳（メタデータ） (2022-06-07T10:24:20Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Complexity-aware Adaptive Training and Inference for Edge-Cloud Distributed AI Systems [9.273593723275544]
  IoTおよび機械学習アプリケーションは、リアルタイム処理を必要とする大量のデータを生成する。 我々は、エッジとクラウドの両方を利用してトレーニングと推論を行う分散AIシステムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T05:03:54Z)
• Data-Driven Low-Rank Neural Network Compression [8.025818540338518]
  我々は、事前訓練されたディープニューラルネットワーク(DNN)のパラメータ数を減少させるデータ駆動低ランク(DDLR)手法を提案する。 分類精度を小さく抑えるだけでパラメータ数を著しく削減できることを示す。
  論文  参考訳（メタデータ） (2021-07-13T00:10:21Z)
• Learning Semantic Segmentation of Large-Scale Point Clouds with Random Sampling [52.464516118826765]
  我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。 我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。 我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
  論文  参考訳（メタデータ） (2021-07-06T05:08:34Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)
• Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing [71.86955275376604]
  本稿では,階層型エッジコンピューティング(HEC)システムに対する適応型異常検出手法を提案する。 本研究では,入力データから抽出した文脈情報に基づいてモデルを選択する適応的手法を設計し,異常検出を行う。 提案手法を実際のIoTデータセットを用いて評価し,検出タスクをクラウドにオフロードするのとほぼ同じ精度を維持しながら,検出遅延を84%削減できることを実証した。
  論文  参考訳（メタデータ） (2020-01-10T05:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。