論文の概要: Dynamic Split Computing for Efficient Deep Edge Intelligence

• arxiv url: http://arxiv.org/abs/2205.11269v1
• Date: Mon, 23 May 2022 12:35:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 18:07:30.532393
• Title: Dynamic Split Computing for Efficient Deep Edge Intelligence
• Title（参考訳）: 効率的なエッジインテリジェンスのための動的スプリットコンピューティング
• Authors: Arian Bakhtiarnia, Nemanja Milo\v{s}evi\'c, Qi Zhang, Dragana Bajovi\'c, Alexandros Iosifidis
• Abstract要約: 通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
• 参考スコア（独自算出の注目度）: 78.4233915447056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying deep neural networks (DNNs) on IoT and mobile devices is a challenging task due to their limited computational resources. Thus, demanding tasks are often entirely offloaded to edge servers which can accelerate inference, however, it also causes communication cost and evokes privacy concerns. In addition, this approach leaves the computational capacity of end devices unused. Split computing is a paradigm where a DNN is split into two sections; the first section is executed on the end device, and the output is transmitted to the edge server where the final section is executed. Here, we introduce dynamic split computing, where the optimal split location is dynamically selected based on the state of the communication channel. By using natural bottlenecks that already exist in modern DNN architectures, dynamic split computing avoids retraining and hyperparameter optimization, and does not have any negative impact on the final accuracy of DNNs. Through extensive experiments, we show that dynamic split computing achieves faster inference in edge computing environments where the data rate and server load vary over time.
• Abstract（参考訳）: IoTとモバイルデバイスにディープニューラルネットワーク(DNN)をデプロイすることは、計算リソースが限られているため、難しい作業である。 したがって、要求されるタスクはエッジサーバに完全にオフロードされるため、推論を加速するが、通信コストを発生させ、プライバシの懸念を引き起こす。 さらに、このアプローチは、未使用のエンドデバイスの計算能力を残している。 分割コンピューティングはDNNを2つのセクションに分割するパラダイムであり、第1のセクションはエンドデバイス上で実行され、出力は最終セクションが実行されるエッジサーバに送信される。 本稿では,通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を提案する。 現代のDNNアーキテクチャにすでに存在する自然なボトルネックを利用することで、動的スプリットコンピューティングはリトレーニングやハイパーパラメータ最適化を回避し、DNNの最終精度に悪影響を及ぼさない。 本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的分割計算が高速な推論を実現することを示す。

関連論文リスト

• I-SplitEE: Image classification in Split Computing DNNs with Early Exits [5.402030962296633]
  大規模なDeep Neural Networks(DNN)は、エッジやモバイル、IoTプラットフォームといったリソース制約のあるデバイスにデプロイするのを妨げる。 我々の研究は、アーリーエグジットとスプリットコンピューティングを融合した革新的な統一アプローチを提示している。 I-SplitEEは、地上の真実とシーケンシャルなデータを持たないシナリオに理想的なオンラインの教師なしアルゴリズムである。
  論文  参考訳（メタデータ） (2024-01-19T07:44:32Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Dynamic DNN Decomposition for Lossless Synergistic Inference [0.9549013615433989]
  ディープニューラルネットワーク(DNN)は、今日のデータ処理アプリケーションで高性能を維持します。 精度損失のない相乗的推論のための動的DNN分解システムD3を提案する。 d3は最先端のdnn推論時間を最大3.4倍に上回り、バックボーンネットワーク通信のオーバーヘッドを3.68倍に削減する。
  論文  参考訳（メタデータ） (2021-01-15T03:18:53Z)
• Neural Compression and Filtering for Edge-assisted Real-time Object Detection in Challenged Networks [8.291242737118482]
  我々はディープニューラルネットワーク(DNN)を用いた遠隔物体検出支援エッジコンピューティングに焦点をあてる。 無線リンクを介して送信されるデータの量を削減するためのフレームワークを開発する。 提案手法は,パラメータ領域における局所演算とエッジ演算の効果的な中間オプションを示す。
  論文  参考訳（メタデータ） (2020-07-31T03:11:46Z)
• PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
  粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。 きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
  論文  参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。