論文の概要: Distributed Inference on Mobile Edge and Cloud: A Data-Cartography based Clustering Approach

• arxiv url: http://arxiv.org/abs/2412.16616v1
• Date: Sat, 21 Dec 2024 13:20:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:56:55.699842
• Title: Distributed Inference on Mobile Edge and Cloud: A Data-Cartography based Clustering Approach
• Title（参考訳）: モバイルエッジとクラウド上の分散推論: データカルトグラフィーに基づくクラスタリングアプローチ
• Authors: Divya Jyoti Bajpai, Manjesh Kumar Hanawal,
• Abstract要約: 分散推論フレームワークは、モバイルデバイス、エッジデバイス、クラウド上のフルDNNにデプロイすることができる。 サンプルの複雑さを評価するためにデータ地図を用いた新しい手法を提案する。 提案手法は,クラウド上のすべての推論を実行する場合と比較して,最小限の精度低下を0.5%以下に抑えながら,推論コストを43%以上削減する。
• 参考スコア（独自算出の注目度）: 5.402030962296633
• License:
• Abstract: The large size of DNNs poses a significant challenge for deployment on devices with limited resources, such as mobile, edge, and IoT platforms. To address this issue, a distributed inference framework can be utilized. In this framework, a small-scale DNN (initial layers) is deployed on mobile devices, a larger version on edge devices, and the full DNN on the cloud. Samples with low complexity (easy) can be processed on mobile, those with moderate complexity (medium) on edge devices, and high complexity (hard) samples on the cloud. Given that the complexity of each sample is unknown in advance, the crucial question in distributed inference is determining the sample complexity for appropriate DNN processing. We introduce a novel method named \our{}, which leverages the Data Cartography approach initially proposed for enhancing DNN generalization. By employing data cartography, we assess sample complexity. \our{} aims to boost accuracy while considering the offloading costs from mobile to edge/cloud. Our experimental results on GLUE datasets, covering a variety of NLP tasks, indicate that our approach significantly lowers inference costs by more than 43\% while maintaining a minimal accuracy drop of less than 0.5\% compared to performing all inferences on the cloud. The source code is available at https://anonymous.4open.science/r/DIMEC-1B04.
• Abstract（参考訳）: DNNの大規模化は、モバイル、エッジ、IoTプラットフォームといった限られたリソースを持つデバイスへのデプロイメントにおいて、大きな課題となる。 この問題に対処するために、分散推論フレームワークを利用することができる。 このフレームワークでは、モバイルデバイスに小さなDNN(初期レイヤ)、エッジデバイスにより大きなバージョン、クラウドに完全なDNNがデプロイされる。 低複雑性(容易)のサンプルはモバイルで処理でき、エッジデバイスでは適度な複雑性(medium)、クラウドでは高複雑性(hard)のサンプルが処理できる。 各サンプルの複雑さが事前に不明であることを考えると、分散推論における重要な問題は、サンプルの複雑さを適切なDNN処理のために決定することである。 本稿では,DNNの一般化向上のために提案されたデータカルトグラフィー手法を活用する新しい手法である \our{} を提案する。 データカルトグラフィーを用いて、サンプルの複雑さを評価する。 \our{}は、モバイルからエッジ/クラウドへのオフロードコストを考慮して、精度を高めることを目的としている。 さまざまなNLPタスクをカバーするGLUEデータセットの実験結果から,クラウド上のすべての推論と比較して,最小の精度低下を0.5倍未満に抑えながら,推論コストを43倍以上削減できることが示唆された。 ソースコードはhttps://anonymous.4open.science/r/DIMEC-1B04で公開されている。

関連論文リスト

• Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach [5.402030962296633]
  ディープニューラルネットワーク(DNN)は、様々な領域で優れたパフォーマンスを示している。 小型のDNNをモバイル、エッジの大型バージョン、クラウドのフルフローにデプロイできる分散推論設定を使用することができる。 DNNにおける推論遅延を最小限に抑えるために,Early Exit(EE)戦略を利用した新しい手法を開発した。
  論文  参考訳（メタデータ） (2024-10-06T20:14:27Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• Streaming Video Analytics On The Edge With Asynchronous Cloud Support [2.7456483236562437]
  本稿では,エッジとクラウドの予測を融合させ,低レイテンシで高精度なエッジクラウド融合アルゴリズムを提案する。 ビデオのオブジェクト検出(多くのビデオ分析シナリオに適用可能)に注目し、融合したエッジクラウド予測が、エッジのみのシナリオとクラウドのみのシナリオの精度を最大50%上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T06:22:13Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Complexity-aware Adaptive Training and Inference for Edge-Cloud Distributed AI Systems [9.273593723275544]
  IoTおよび機械学習アプリケーションは、リアルタイム処理を必要とする大量のデータを生成する。 我々は、エッジとクラウドの両方を利用してトレーニングと推論を行う分散AIシステムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T05:03:54Z)
• Data-Driven Low-Rank Neural Network Compression [8.025818540338518]
  我々は、事前訓練されたディープニューラルネットワーク(DNN)のパラメータ数を減少させるデータ駆動低ランク(DDLR)手法を提案する。 分類精度を小さく抑えるだけでパラメータ数を著しく削減できることを示す。
  論文  参考訳（メタデータ） (2021-07-13T00:10:21Z)
• Learning Semantic Segmentation of Large-Scale Point Clouds with Random Sampling [52.464516118826765]
  我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。 我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。 我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
  論文  参考訳（メタデータ） (2021-07-06T05:08:34Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。