論文の概要: Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning

• arxiv url: http://arxiv.org/abs/2205.11854v1
• Date: Tue, 24 May 2022 07:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:12:25.377110
• Title: Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning
• Title（参考訳）: DNNデカップリングによるマルチエージェント協調推論:中間特徴圧縮とエッジ学習
• Authors: Zhiwei Hao, Guanyu Xu, Yong Luo, Han Hu, Jianping An, Shiwen Mao
• Abstract要約: 単一エッジサーバが複数のUEの推論を調整するマルチエージェント協調推論シナリオについて検討する。 この目的を達成するために、我々はまず、大きな中間特徴を圧縮する軽量オートエンコーダベースの手法を設計する。 次に、DNNの推測オーバーヘッドに応じてタスクを定義し、マルコフ決定プロセスとして問題を定式化する。
• 参考スコア（独自算出の注目度）: 31.291738577705257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deploying deep neural network (DNN) models via collaborative inference, which splits a pre-trained model into two parts and executes them on user equipment (UE) and edge server respectively, becomes attractive. However, the large intermediate feature of DNN impedes flexible decoupling, and existing approaches either focus on the single UE scenario or simply define tasks considering the required CPU cycles, but ignore the indivisibility of a single DNN layer. In this paper, we study the multi-agent collaborative inference scenario, where a single edge server coordinates the inference of multiple UEs. Our goal is to achieve fast and energy-efficient inference for all UEs. To achieve this goal, we first design a lightweight autoencoder-based method to compress the large intermediate feature. Then we define tasks according to the inference overhead of DNNs and formulate the problem as a Markov decision process (MDP). Finally, we propose a multi-agent hybrid proximal policy optimization (MAHPPO) algorithm to solve the optimization problem with a hybrid action space. We conduct extensive experiments with different types of networks, and the results show that our method can reduce up to 56\% of inference latency and save up to 72\% of energy consumption.
• Abstract（参考訳）: 近年,事前学習したモデルを2つの部分に分け,それぞれユーザ機器(ue)とエッジサーバ上で実行する協調推論によるディープニューラルネットワーク(dnn)モデルの展開が注目されている。 しかし、DNNの大きな中間機能はフレキシブルなデカップリングを妨げ、既存のアプローチは単一のUEシナリオにフォーカスするか、必要なCPUサイクルを考慮してタスクを定義するだけであるが、単一のDNN層の区別は無視する。 本稿では,単一エッジサーバが複数のUEの推論を調整するマルチエージェント協調推論シナリオについて検討する。 我々の目標は、全てのUEに対して高速でエネルギー効率の高い推論を行うことです。 この目的を達成するために、我々はまず、大きな中間特徴を圧縮する軽量オートエンコーダベースの手法を設計する。 次に、DNNの推測オーバーヘッドに応じてタスクを定義し、その問題をマルコフ決定プロセス(MDP)として定式化する。 最後に,ハイブリッドアクション空間を用いた最適化問題を解くために,マルチエージェントハイブリッド近似ポリシー最適化(MAHPPO)アルゴリズムを提案する。 提案手法は,様々な種類のネットワークを用いて広範な実験を行い,推定遅延を最大56\%削減し,最大72\%のエネルギー消費を節約できることを示した。

関連論文リスト

• A Bayesian Framework of Deep Reinforcement Learning for Joint O-RAN/MEC Orchestration [12.914011030970814]
  マルチアクセスエッジコンピューティング(MEC)は、コモディティプラットフォーム上でOpen Radio Access Network(O-RAN)と一緒に実装することで、低コストなデプロイメントを実現する。 本稿では,ベイジアンディープ強化学習(RL)を用いたO-RAN/MEC協調オーケストレーションを提案する。
  論文  参考訳（メタデータ） (2023-12-26T18:04:49Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
  本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。 提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T12:05:15Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Boundary-assisted Region Proposal Networks for Nucleus Segmentation [89.69059532088129]
  大量の核が混在しているため、機械学習モデルはうまく機能しない。 我々は、堅牢なインスタンスレベルの核分割を実現する境界支援領域提案ネットワーク(BRP-Net)を考案する。
  論文  参考訳（メタデータ） (2020-06-04T08:26:38Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Multiple Access in Dynamic Cell-Free Networks: Outage Performance and Deep Reinforcement Learning-Based Design [24.632250413917816]
  将来のセルフリー(またはセルレス)無線ネットワークでは、地理的領域の多数のデバイスが同時に多数の分散アクセスポイント(AP)によって提供される。 我々は,多数のデバイスやAPが存在する場合に,ユーザの信号の共同処理の複雑さを低減するために,新しい動的セルフリーネットワークアーキテクチャを提案する。 システム設定では, DDPG-DDQN方式は, 網羅的な検索ベース設計により, 達成可能なレートの約78%を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-01-29T03:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。