論文の概要: DistrEE: Distributed Early Exit of Deep Neural Network Inference on Edge Devices

• arxiv url: http://arxiv.org/abs/2502.15735v1
• Date: Thu, 06 Feb 2025 09:16:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 03:56:13.058371
• Title: DistrEE: Distributed Early Exit of Deep Neural Network Inference on Edge Devices
• Title（参考訳）: DistrEE: エッジデバイス上でのディープニューラルネットワーク推論の分散早期実行
• Authors: Xian Peng, Xin Wu, Lianming Xu, Li Wang, Aiguo Fei,
• Abstract要約: サービス要求の品質を満たすために、モデル推論を早期に終了させることができる分散DNN推論フレームワークであるDistrEEを提案する。 DistrEEは効率的な協調推論を効率的に実現でき、推論レイテンシと精度のトレードオフを効果的に達成できることを示す。
• 参考スコア（独自算出の注目度）: 13.916010072536377
• License:
• Abstract: Distributed DNN inference is becoming increasingly important as the demand for intelligent services at the network edge grows. By leveraging the power of distributed computing, edge devices can perform complicated and resource-hungry inference tasks previously only possible on powerful servers, enabling new applications in areas such as autonomous vehicles, industrial automation, and smart homes. However, it is challenging to achieve accurate and efficient distributed edge inference due to the fluctuating nature of the actual resources of the devices and the processing difficulty of the input data. In this work, we propose DistrEE, a distributed DNN inference framework that can exit model inference early to meet specific quality of service requirements. In particular, the framework firstly integrates model early exit and distributed inference for multi-node collaborative inferencing scenarios. Furthermore, it designs an early exit policy to control when the model inference terminates. Extensive simulation results demonstrate that DistrEE can efficiently realize efficient collaborative inference, achieving an effective trade-off between inference latency and accuracy.
• Abstract（参考訳）: ネットワークエッジでのインテリジェントサービスの需要が増大するにつれて、分散DNN推論がますます重要になっている。 分散コンピューティングのパワーを活用することで、エッジデバイスは、これまで強力なサーバでしかできなかった複雑でリソース不足の推論タスクを実行し、自動運転車や産業自動化、スマートホームといった分野の新しいアプリケーションを可能にする。 しかし、デバイスの実際のリソースのゆらぎの性質と入力データの処理困難により、正確かつ効率的な分散エッジ推論を実現することは困難である。 本稿では,サービス要求の特定の品質を満たすために,モデル推論を早期に終了させることができる分散DNN推論フレームワークであるDistrEEを提案する。 特に、このフレームワークは、まずモデル早期終了とマルチノード協調推論シナリオのための分散推論を統合する。 さらに、モデル推論が終了する時に制御する早期出口ポリシーを設計する。 シミュレーションの結果,DistrEEは効率的な協調推論を効率的に実現し,推論遅延と精度のトレードオフを効果的に達成できることがわかった。

関連論文リスト

• Failure-Resilient Distributed Inference with Model Compression over Heterogeneous Edge Devices [9.423705897088672]
  ヘテロジニアスエッジデバイス上でのディープニューラルネットワークベース推論タスクの局所分散実行のための堅牢な協調推論機構であるRoCoInを提案する。 分散配置のための知識蒸留を用いて、大規模なモデルから学習される、独立的でコンパクトな学生モデルのセットを作成する。 特に、デバイスは戦略的にグループ化され、同じ学生モデルを冗長にデプロイし、実行し、推論プロセスが任意のローカル障害に対して回復力を持つようにします。
  論文  参考訳（メタデータ） (2024-06-20T10:43:53Z)
• Adaptive Early Exiting for Collaborative Inference over Noisy Wireless Channels [17.890390892890057]
  コラボレーション推論システムは、無線ネットワークエッジにディープニューラルネットワーク(DNN)をデプロイする新たなソリューションの1つである。 本研究では,特定の試料のエッジデバイスにおける推定結果の取得を可能にする共同推論の文脈における早期退避について検討する。 システムの中心となるのは送信決定機構(TD)であり、早期終了予測を維持するか、エッジサーバにデータを送信してさらなる処理を行うかを決定する。
  論文  参考訳（メタデータ） (2023-11-29T21:31:59Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
  HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。 実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。 分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-24T19:48:30Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Communication-Efficient Separable Neural Network for Distributed Inference on Edge Devices [2.28438857884398]
  本稿では,分散推論のためのニューラルネットワークを分離するために,モデル並列性を利用する新しい手法を提案する。 デバイスの適切な仕様とモデルの構成の下で、エッジクラスタ上の大規模ニューラルネットワークの推論が分散し、加速可能であることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-03T19:30:28Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Resolution Adaptive Networks for Efficient Inference [53.04907454606711]
  本稿では,低分解能表現が「容易」な入力を分類するのに十分である,という直感に触発された新しいレゾリューション適応ネットワーク(RANet)を提案する。 RANetでは、入力画像はまず、低解像度表現を効率的に抽出する軽量サブネットワークにルーティングされる。 ネットワーク内の高解像度パスは、"ハード"サンプルを認識する能力を維持している。
  論文  参考訳（メタデータ） (2020-03-16T16:54:36Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。