論文の概要: Adaptive DNN Surgery for Selfish Inference Acceleration with On-demand Edge Resource

• arxiv url: http://arxiv.org/abs/2306.12185v1
• Date: Wed, 21 Jun 2023 11:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 13:49:54.407977
• Title: Adaptive DNN Surgery for Selfish Inference Acceleration with On-demand Edge Resource
• Title（参考訳）: オンデマンドエッジリソースを用いた自己推測高速化のための適応的DNN手術
• Authors: Xiang Yang, Dezhi Chen, Qi Qi, Jingyu Wang, Haifeng Sun, Jianxin Liao, Song Guo
• Abstract要約: ディープニューラルネットワーク(DNN)は、モバイルデバイス上のインテリジェントアプリケーションの精度を大幅に改善した。 DNN手術は、モバイルデバイスの計算能力に制限があるにもかかわらず、リアルタイムの推論を可能にする。 本稿では,分散DNN手術(Decentralized DNN Surgery, DDS)フレームワークについて紹介する。
• 参考スコア（独自算出の注目度）: 25.274288063300844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have significantly improved the accuracy of intelligent applications on mobile devices. DNN surgery, which partitions DNN processing between mobile devices and multi-access edge computing (MEC) servers, can enable real-time inference despite the computational limitations of mobile devices. However, DNN surgery faces a critical challenge: determining the optimal computing resource demand from the server and the corresponding partition strategy, while considering both inference latency and MEC server usage costs. This problem is compounded by two factors: (1) the finite computing capacity of the MEC server, which is shared among multiple devices, leading to inter-dependent demands, and (2) the shift in modern DNN architecture from chains to directed acyclic graphs (DAGs), which complicates potential solutions. In this paper, we introduce a novel Decentralized DNN Surgery (DDS) framework. We formulate the partition strategy as a min-cut and propose a resource allocation game to adaptively schedule the demands of mobile devices in an MEC environment. We prove the existence of a Nash Equilibrium (NE), and develop an iterative algorithm to efficiently reach the NE for each device. Our extensive experiments demonstrate that DDS can effectively handle varying MEC scenarios, achieving up to 1.25$\times$ acceleration compared to the state-of-the-art algorithm.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、モバイルデバイス上のインテリジェントアプリケーションの精度を大幅に改善した。 モバイルデバイスとマルチアクセスエッジコンピューティング(MEC)サーバ間でDNN処理を分割するDNN手術は,モバイルデバイスの計算能力に制限があるにも関わらず,リアルタイムな推論を可能にする。 しかし、DNN手術は、推論レイテンシとMECサーバーの使用コストの両方を考慮して、サーバからの最適なコンピューティングリソース需要とそれに対応するパーティション戦略を決定するという、重大な課題に直面している。 この問題は、(1)複数のデバイス間で共有されるmecサーバの有限演算能力が相互依存的な要求をもたらし、(2)現代のdnnアーキテクチャがチェーンから有向非循環グラフ(英語版)(dag)へとシフトし、潜在的な解を複雑化する。 本稿では,分散DNN手術(Decentralized DNN Surgery, DDS)フレームワークについて紹介する。 分割戦略をミニカットとして定式化し,mec環境でモバイルデバイスの要求を適応的にスケジュールする資源割当ゲームを提案する。 我々はNash Equilibrium(NE)の存在を証明し、各デバイスに対してNEに効率的に到達するための反復アルゴリズムを開発する。 我々の広範な実験は、DDSが様々なMECシナリオを効果的に処理できることを示し、最先端のアルゴリズムと比較して最大1.25$\times$Accelerationを実現している。

関連論文リスト

• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Survey on Computer Vision Techniques for Internet-of-Things Devices [0.0]
  ディープニューラルネットワーク(Deep Neural Network, DNN)は、コンピュータビジョン問題を解決する最先端技術である。 DNNは最先端の結果を得るために数十億のパラメータと演算を必要とする。 この要件により、DNNは計算量、メモリ、エネルギー不足を極端に増加させ、結果として限られたコンピューティングリソースを持つ小さなバッテリ駆動のIoT(Internet-of-Things)デバイスにデプロイすることが困難になる。
  論文  参考訳（メタデータ） (2023-08-02T03:41:24Z)
• Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
  通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:35:18Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• A Heterogeneous In-Memory Computing Cluster For Flexible End-to-End Inference of Real-World Deep Neural Networks [12.361842554233558]
  最新のTinyMLタスクを小さなバッテリに制約されたIoTデバイスにデプロイするには、高い計算エネルギー効率が必要である。 非揮発性メモリ(NVM)を使用したアナログメモリコンピューティング(IMC)は、ディープニューラルネットワーク(DNN)推論の大幅な効率向上を実現する。 8つのRISC-Vコア、インメモリ・コンピューティング・アクセラレータ(IMA)、デジタル・アクセラレータを統合した異種密結合アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-01-04T11:12:01Z)
• Latency-Memory Optimized Splitting of Convolution Neural Networks for Resource Constrained Edge Devices [1.6873748786804317]
  我々は、エッジデバイスとクラウド間でCNNを実行することは、リソース制約のある最適化問題を解決することと同義であると主張している。 実世界のエッジデバイスでの実験では、LMOSはエッジで異なるCNNモデルの実行可能な実行を保証する。
  論文  参考訳（メタデータ） (2021-07-19T19:39:56Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• Computation Offloading in Multi-Access Edge Computing Networks: A Multi-Task Learning Approach [7.203439085947118]
  マルチアクセスエッジコンピューティング(MEC)は、いくつかのタスクをMECサーバ(MES)に統合された近接アクセスポイント(AP)にオフロードすることで、モバイル機器が計算集約的なアプリケーションに対応できるようにする可能性をすでに示している。 しかし,MESのネットワーク条件や計算資源が限られているため,モバイル端末によるオフロード決定やMESが割り当てる計算資源は,低コストで効率よく達成できない。 我々はMECネットワークのための動的オフロードフレームワークを提案し、アップリンク非直交多重アクセス(NOMA)を用いて複数のデバイスがアップロードできるようにする。
  論文  参考訳（メタデータ） (2020-06-29T15:11:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。