論文の概要: MANE: A Multi-Path Adaptive Network for Edge Onloading of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2609.14660v1
- Date: Sun, 13 Sep 2026 16:57:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.891993
- Title: MANE: A Multi-Path Adaptive Network for Edge Onloading of Deep Neural Networks
- Title(参考訳): MANE: ディープニューラルネットワークのエッジ負荷に対するマルチパス適応ネットワーク
- Abstract要約: サーバにマルチパステールアーキテクチャを組み込む分散推論フレームワークMANEを提案する。
以上の結果から,MANEは80%以上の満足度を維持しながら,デバイス上の代替品よりも6pp高い精度を維持しながら,最先端の搭載方法が完全に失敗することを示した。
- 参考スコア(独自算出の注目度): 2.6945668819614643
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Split computing constitutes a widely used distributed inference approach, where a lightweight head model is onloaded onto the device and a heavier tail model resides on an edge server, leveraging the growing computational capabilities of modern System-on-Chips while alleviating server load. As intelligent indoor environments such as smart offices grow increasingly populated with diverse IoT devices, a single edge server must simultaneously assist multiple devices, each competing for the same shared inference resources. Without a principled mechanism to manage this shared load, the server is quickly overwhelmed, causing latency SLO violations and rendering server-assisted inference ineffective. In this work, we present MANE, a distributed inference framework that equips the server with a multi-path tail architecture, enabling a dynamic accuracy--throughput trade-off at runtime. By introducing a novel multi-path model architecture, a three-stage training scheme featuring a Joint Head Network Distillation loss and a hysteresis-based scheduler with an equitable device-fallback policy, MANE maintains over 80% SLO satisfaction rate where state-of-the-art onloading methods fail completely, while preserving accuracy 6pp higher than on-device alternatives, across up to 40 concurrent devices.
- Abstract(参考訳): スプリットコンピューティングは、デバイスに軽量なヘッドモデルがロードされ、より重いテールモデルがエッジサーバに存在し、サーバ負荷を軽減しつつ、現代のSystem-on-Chipsの計算能力の増大を活用する、広く使われている分散推論手法である。
スマートオフィスのようなインテリジェントな屋内環境は、さまざまなIoTデバイスで人口が増えているため、単一エッジサーバは複数のデバイスを同時に支援する必要がある。
この共有負荷を管理するための原則化されたメカニズムがなければ、サーバはすぐに圧倒され、遅延SLO違反とサーバ支援推論の非効率なレンダリングを引き起こします。
本研究では,マルチパステールアーキテクチャをサーバに装備する分散推論フレームワークであるMANEについて述べる。
新規なマルチパスモデルアーキテクチャを導入し、ジョイントヘッドネットワーク蒸留損失と均等なデバイスフォールバックポリシを備えたヒステリシスベースのスケジューラを備えた3段階のトレーニングスキームを導入することにより、最先端のオーバーロード手法が完全にフェールするSLO満足度を80%以上維持し、デバイス上の代替品よりも6pp高い精度を最大40個のコンカレントデバイスで保持する。
関連論文リスト
- HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。
損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。
Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文 参考訳(メタデータ) (2026-01-16T07:37:23Z) - Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。
標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
論文 参考訳(メタデータ) (2025-11-03T08:44:13Z) - Resource Utilization Optimized Federated Learning [19.564340315424413]
フェデレートラーニング(FL)システムは、サーバと複数のデバイスにまたがる分散機械学習を容易にする。
本稿では,資源最適化FLシステムであるFedOptimaを紹介する。
論文 参考訳(メタデータ) (2025-03-10T20:23:39Z) - MultiTASC++: A Continuously Adaptive Scheduler for Edge-Based Multi-Device Cascade Inference [4.556037016746581]
分散推論のための連続適応型マルチテナンシ対応スケジューラであるMultiTASC++を紹介する。
我々は、スケジューラが目標満足度を継続的に維持する上で有効であり、最大100台のデバイスで、さまざまなデバイス層とワークロードで最高の可用性を提供していることを実証する。
論文 参考訳(メタデータ) (2024-12-05T13:19:34Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45~9.39倍の高速化を実現可能であることを示す。
論文 参考訳(メタデータ) (2024-10-16T16:13:19Z) - Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse
Multi-DNN Workloads [65.47816359465155]
複数のディープニューラルネットワーク(DNN)を並列に実行することは、両エッジデバイスで新たなワークロードとなっている。
スパースマルチDNNスケジューリングに静的なスケジューラパターンと動的スケジューラ情報の両方を利用する新しいスケジューラDystaを提案する。
提案手法は, 遅延制約違反率を最大10%削減し, 平均正規化ターンアラウンド時間で約4倍に向上する。
論文 参考訳(メタデータ) (2023-10-17T09:25:17Z) - SPIRT: A Fault-Tolerant and Reliable Peer-to-Peer Serverless ML Training
Architecture [0.61497722627646]
SPIRTはフォールトトレラントで信頼性があり、セキュアなサーバレスP2P MLトレーニングアーキテクチャである。
本稿では,フォールトトレラントで信頼性が高く,セキュアなサーバレスP2P MLトレーニングアーキテクチャであるSPIRTを紹介する。
論文 参考訳(メタデータ) (2023-09-25T14:01:35Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2023-03-26T16:09:48Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳(メタデータ) (2022-03-26T00:41:57Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Computational Intelligence and Deep Learning for Next-Generation
Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。
本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。
特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文 参考訳(メタデータ) (2021-10-28T08:14:57Z) - FTPipeHD: A Fault-Tolerant Pipeline-Parallel Distributed Training
Framework for Heterogeneous Edge Devices [21.513786638743234]
FTPipeHDは、異種デバイス間でディープラーニングモデルをトレーニングする新しいフレームワークである。
FTPipeHDは、最高のデバイスの計算能力が最悪のものより10倍大きい場合、アートメソッドの状態よりもトレーニングで6.8倍高速であることが示されている。
論文 参考訳(メタデータ) (2021-10-06T14:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。