論文の概要: Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning

• arxiv url: http://arxiv.org/abs/2205.11854v1
• Date: Tue, 24 May 2022 07:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-05-25 15:12:25.377110
• Title: Multi-Agent Collaborative Inference via DNN Decoupling: Intermediate Feature Compression and Edge Learning
• Title（参考訳）: DNNデカップリングによるマルチエージェント協調推論:中間特徴圧縮とエッジ学習
• Authors: Zhiwei Hao, Guanyu Xu, Yong Luo, Han Hu, Jianping An, Shiwen Mao
• Abstract要約: 単一エッジサーバが複数のUEの推論を調整するマルチエージェント協調推論シナリオについて検討する。 この目的を達成するために、我々はまず、大きな中間特徴を圧縮する軽量オートエンコーダベースの手法を設計する。 次に、DNNの推測オーバーヘッドに応じてタスクを定義し、マルコフ決定プロセスとして問題を定式化する。
• 参考スコア（独自算出の注目度）: 31.291738577705257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deploying deep neural network (DNN) models via collaborative inference, which splits a pre-trained model into two parts and executes them on user equipment (UE) and edge server respectively, becomes attractive. However, the large intermediate feature of DNN impedes flexible decoupling, and existing approaches either focus on the single UE scenario or simply define tasks considering the required CPU cycles, but ignore the indivisibility of a single DNN layer. In this paper, we study the multi-agent collaborative inference scenario, where a single edge server coordinates the inference of multiple UEs. Our goal is to achieve fast and energy-efficient inference for all UEs. To achieve this goal, we first design a lightweight autoencoder-based method to compress the large intermediate feature. Then we define tasks according to the inference overhead of DNNs and formulate the problem as a Markov decision process (MDP). Finally, we propose a multi-agent hybrid proximal policy optimization (MAHPPO) algorithm to solve the optimization problem with a hybrid action space. We conduct extensive experiments with different types of networks, and the results show that our method can reduce up to 56\% of inference latency and save up to 72\% of energy consumption.
• Abstract（参考訳）: 近年,事前学習したモデルを2つの部分に分け,それぞれユーザ機器(ue)とエッジサーバ上で実行する協調推論によるディープニューラルネットワーク(dnn)モデルの展開が注目されている。 しかし、DNNの大きな中間機能はフレキシブルなデカップリングを妨げ、既存のアプローチは単一のUEシナリオにフォーカスするか、必要なCPUサイクルを考慮してタスクを定義するだけであるが、単一のDNN層の区別は無視する。 本稿では,単一エッジサーバが複数のUEの推論を調整するマルチエージェント協調推論シナリオについて検討する。 我々の目標は、全てのUEに対して高速でエネルギー効率の高い推論を行うことです。 この目的を達成するために、我々はまず、大きな中間特徴を圧縮する軽量オートエンコーダベースの手法を設計する。 次に、DNNの推測オーバーヘッドに応じてタスクを定義し、その問題をマルコフ決定プロセス(MDP)として定式化する。 最後に,ハイブリッドアクション空間を用いた最適化問題を解くために,マルチエージェントハイブリッド近似ポリシー最適化(MAHPPO)アルゴリズムを提案する。 提案手法は,様々な種類のネットワークを用いて広範な実験を行い,推定遅延を最大56\%削減し,最大72\%のエネルギー消費を節約できることを示した。

関連論文リスト

• MO-MIX: Multi-Objective Multi-Agent Cooperative Decision-Making With Deep Reinforcement Learning [68.91090643731987]
  深部強化学習(RL)は複雑な意思決定問題を解決するために広く応用されている。 既存のアプローチは、別々のフィールドに限られており、単一の目的でマルチエージェントの意思決定しか処理できない。 マルチオブジェクト型マルチエージェント強化学習(MOMARL)問題の解法としてMO-mixを提案する。
  論文  参考訳（メタデータ） (2026-02-28T16:25:22Z)
• Collaborative Large Language Model Inference via Resource-Aware Parallel Speculative Decoding [6.130486652666936]
  投機的復号化は、モバイルデバイスの軽量ドラフトモデルとエッジサーバの強力なターゲットモデルとの間にトークン生成を分割することで、有望なソリューションを提供する。 本稿では,効率的な並列投機的復号化を支援するために,ユーザアソシエーションとリソースアロケーションを協調的に最適化する統合フレームワークを初めて提案する。 その結果,提案手法は推定精度を損なうことなく,最大28.0%,平均23.7%のレイテンシ削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-11-03T16:04:44Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• MAGNNET: Multi-Agent Graph Neural Network-based Efficient Task Allocation for Autonomous Vehicles with Deep Reinforcement Learning [2.5022287664959446]
  本稿では,グラフニューラルネットワーク(GNN)を一元的トレーニングと分散実行(CTDE)パラダイムに統合する新しいフレームワークを提案する。 本手法により,無人航空機 (UAV) と無人地上車両 (UGV) は, 中央調整を必要とせず, 効率よくタスクを割り当てることができる。
  論文  参考訳（メタデータ） (2025-02-04T13:29:56Z)
• A Bayesian Framework of Deep Reinforcement Learning for Joint O-RAN/MEC Orchestration [12.914011030970814]
  マルチアクセスエッジコンピューティング(MEC)は、コモディティプラットフォーム上でOpen Radio Access Network(O-RAN)と一緒に実装することで、低コストなデプロイメントを実現する。 本稿では,ベイジアンディープ強化学習(RL)を用いたO-RAN/MEC協調オーケストレーションを提案する。
  論文  参考訳（メタデータ） (2023-12-26T18:04:49Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
  本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。 提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T12:05:15Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Boundary-assisted Region Proposal Networks for Nucleus Segmentation [89.69059532088129]
  大量の核が混在しているため、機械学習モデルはうまく機能しない。 我々は、堅牢なインスタンスレベルの核分割を実現する境界支援領域提案ネットワーク(BRP-Net)を考案する。
  論文  参考訳（メタデータ） (2020-06-04T08:26:38Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Multiple Access in Dynamic Cell-Free Networks: Outage Performance and Deep Reinforcement Learning-Based Design [24.632250413917816]
  将来のセルフリー(またはセルレス)無線ネットワークでは、地理的領域の多数のデバイスが同時に多数の分散アクセスポイント(AP)によって提供される。 我々は,多数のデバイスやAPが存在する場合に,ユーザの信号の共同処理の複雑さを低減するために,新しい動的セルフリーネットワークアーキテクチャを提案する。 システム設定では, DDPG-DDQN方式は, 網羅的な検索ベース設計により, 達成可能なレートの約78%を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-01-29T03:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。