論文の概要: Adaptive Early Exiting for Collaborative Inference over Noisy Wireless
Channels
- arxiv url: http://arxiv.org/abs/2311.18098v1
- Date: Wed, 29 Nov 2023 21:31:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 18:37:43.928428
- Title: Adaptive Early Exiting for Collaborative Inference over Noisy Wireless
Channels
- Title(参考訳): ノイズ無線チャネル上での協調推論のための適応的早期脱出法
- Authors: Mikolaj Jankowski, Deniz Gunduz, Krystian Mikolajczyk
- Abstract要約: コラボレーション推論システムは、無線ネットワークエッジにディープニューラルネットワーク(DNN)をデプロイする新たなソリューションの1つである。
本研究では,特定の試料のエッジデバイスにおける推定結果の取得を可能にする共同推論の文脈における早期退避について検討する。
システムの中心となるのは送信決定機構(TD)であり、早期終了予測を維持するか、エッジサーバにデータを送信してさらなる処理を行うかを決定する。
- 参考スコア(独自算出の注目度): 17.890390892890057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative inference systems are one of the emerging solutions for
deploying deep neural networks (DNNs) at the wireless network edge. Their main
idea is to divide a DNN into two parts, where the first is shallow enough to be
reliably executed at edge devices of limited computational power, while the
second part is executed at an edge server with higher computational
capabilities. The main advantage of such systems is that the input of the DNN
gets compressed as the subsequent layers of the shallow part extract only the
information necessary for the task. As a result, significant communication
savings can be achieved compared to transmitting raw input samples. In this
work, we study early exiting in the context of collaborative inference, which
allows obtaining inference results at the edge device for certain samples,
without the need to transmit the partially processed data to the edge server at
all, leading to further communication savings. The central part of our system
is the transmission-decision (TD) mechanism, which, given the information from
the early exit, and the wireless channel conditions, decides whether to keep
the early exit prediction or transmit the data to the edge server for further
processing. In this paper, we evaluate various TD mechanisms and show
experimentally, that for an image classification task over the wireless edge,
proper utilization of early exits can provide both performance gains and
significant communication savings.
- Abstract(参考訳): コラボレーション推論システムは、無線ネットワークエッジにディープニューラルネットワーク(DNN)をデプロイする新たなソリューションの1つである。
彼らの主なアイデアは、DNNを2つの部分に分割することであり、第1の部分は、限られた計算能力を持つエッジデバイスで確実に実行されるほど浅く、第2の部分は高い計算能力を持つエッジサーバで実行される。
このようなシステムの主な利点は、DNNの入力が圧縮され、後続の浅い部分の層がタスクに必要な情報のみを抽出することである。
その結果、生の入力サンプルを送信することに比べ、かなりの通信の節約が可能となる。
本研究では,あるサンプルのエッジデバイスにおいて,部分処理されたデータをエッジサーバに送信することなく,推論結果を得ることが可能な協調的推論の文脈において,早期の退出について検討する。
システムの中心となるのがtd(transmission-decision)機構で、早期出口からの情報と無線チャネルの状態とを考慮し、早期出口予測を維持するか、エッジサーバに送信するかを判断し、さらなる処理を行う。
本稿では,様々なtd機構を評価し,無線エッジ上の画像分類タスクにおいて,早期エグジットの適正な活用が性能向上と通信の大幅な節約をもたらすことを示す。
関連論文リスト
- Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳(メタデータ) (2022-11-24T18:10:01Z) - Bandwidth-efficient distributed neural network architectures with
application to body sensor networks [73.02174868813475]
本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。
提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。
本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
論文 参考訳(メタデータ) (2022-10-14T12:35:32Z) - Task-Oriented Sensing, Computation, and Communication Integration for
Multi-Device Edge AI [108.08079323459822]
本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。
推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
論文 参考訳(メタデータ) (2022-07-03T06:57:07Z) - Resource-Constrained Edge AI with Early Exit Prediction [5.060405696893342]
デバイスエッジコ推論システムにおいて,デバイス上での計算オーバーヘッドを低減するための早期出口予測機構を提案する。
具体的には,Exit Predictorと呼ばれる低複雑さモジュールを設計し,初期出口の計算をバイパスする「ハード」なサンプルを導出する。
通信帯域の変動を考慮すると、レイテンシを考慮したエッジ推論の早期終了予測機構を拡張する。
論文 参考訳(メタデータ) (2022-06-15T03:14:21Z) - Dynamic Split Computing for Efficient Deep Edge Intelligence [78.4233915447056]
通信チャネルの状態に基づいて最適な分割位置を動的に選択する動的分割計算を導入する。
本研究では,データレートとサーバ負荷が時間とともに変化するエッジコンピューティング環境において,動的スプリットコンピューティングが高速な推論を実現することを示す。
論文 参考訳(メタデータ) (2022-05-23T12:35:18Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳(メタデータ) (2021-10-28T08:14:57Z) - Task-Oriented Communication for Multi-Device Cooperative Edge Inference [14.249444124834719]
協調エッジ推論は、単一デバイスの限られた感知能力を克服することができるが、通信オーバーヘッドを大幅に増加させ、過度の遅延を引き起こす可能性がある。
タスク指向方式で局所特徴抽出と分散特徴符号化を最適化する学習型通信方式を提案する。
論文 参考訳(メタデータ) (2021-09-01T03:56:20Z) - Neural Compression and Filtering for Edge-assisted Real-time Object
Detection in Challenged Networks [8.291242737118482]
我々はディープニューラルネットワーク(DNN)を用いた遠隔物体検出支援エッジコンピューティングに焦点をあてる。
無線リンクを介して送信されるデータの量を削減するためのフレームワークを開発する。
提案手法は,パラメータ領域における局所演算とエッジ演算の効果的な中間オプションを示す。
論文 参考訳(メタデータ) (2020-07-31T03:11:46Z) - Communication-Computation Trade-Off in Resource-Constrained Edge
Inference [5.635540684037595]
本稿では,資源制約のあるデバイスにおけるエッジ推論の効果的な手法を提案する。
エッジコンピューティングサーバが支援するデバイスとエッジのコ推論に重点を置いている。
効果的な推論のために3段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-03T11:00:32Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳(メタデータ) (2020-03-18T05:56:27Z) - Joint Device-Edge Inference over Wireless Links with Pruning [20.45405359815043]
無線ネットワークエッジにおける効率的な推論のための共同特徴圧縮と伝送方式を提案する。
これはDeepJSCCとネットワークプルーニングを組み合わせた最初の作品であり、無線エッジ上の画像分類に応用されている。
論文 参考訳(メタデータ) (2020-03-04T12:06:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。