Fugu-MT 論文翻訳(概要): Federated Learning for Cooperative Inference Systems: The Case of Early Exit Networks

論文の概要: Federated Learning for Cooperative Inference Systems: The Case of Early Exit Networks

arxiv url: http://arxiv.org/abs/2405.04249v1
Date: Tue, 7 May 2024 12:07:06 GMT
ステータス: 処理完了
システム内更新日: 2024-05-08 14:20:03.690187
Title: Federated Learning for Cooperative Inference Systems: The Case of Early Exit Networks
Title（参考訳）: 協調推論システムのためのフェデレーション学習--早期排他ネットワークを事例として
Authors: Caelin Kaplan, Tareq Si Salem, Angelo Rodio, Chuan Xu, Giovanni Neglia,
Abstract要約: 協調推論システム(CIS)は、より小さなデバイスが推論タスクの一部をより有能なデバイスにオフロードできるようにすることによって、このパフォーマンストレードオフに対処する。我々のフレームワークは厳密な理論的保証を提供するだけでなく、CISの最先端(SOTA)トレーニングアルゴリズムを超越している。
参考スコア（独自算出の注目度）: 10.172776427016437
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As Internet of Things (IoT) technology advances, end devices like sensors and smartphones are progressively equipped with AI models tailored to their local memory and computational constraints. Local inference reduces communication costs and latency; however, these smaller models typically underperform compared to more sophisticated models deployed on edge servers or in the cloud. Cooperative Inference Systems (CISs) address this performance trade-off by enabling smaller devices to offload part of their inference tasks to more capable devices. These systems often deploy hierarchical models that share numerous parameters, exemplified by Deep Neural Networks (DNNs) that utilize strategies like early exits or ordered dropout. In such instances, Federated Learning (FL) may be employed to jointly train the models within a CIS. Yet, traditional training methods have overlooked the operational dynamics of CISs during inference, particularly the potential high heterogeneity in serving rates across clients. To address this gap, we propose a novel FL approach designed explicitly for use in CISs that accounts for these variations in serving rates. Our framework not only offers rigorous theoretical guarantees, but also surpasses state-of-the-art (SOTA) training algorithms for CISs, especially in scenarios where inference request rates or data availability are uneven among clients.
Abstract（参考訳）: IoT(Internet of Things)技術が進歩するにつれ、センサーやスマートフォンといったエンドデバイスには、ローカルメモリや計算の制約に合わせたAIモデルが徐々に備わっている。ローカル推論は通信コストとレイテンシを低減するが、これらの小さなモデルは通常、エッジサーバやクラウドにデプロイされるより高度なモデルに比べてパフォーマンスが劣る。協調推論システム(CIS)は、より小さなデバイスが推論タスクの一部をより有能なデバイスにオフロードできるようにすることによって、このパフォーマンストレードオフに対処する。これらのシステムは、初期の出口や順序付きドロップアウトのような戦略を利用するディープニューラルネットワーク(DNN)で実証された、多数のパラメータを共有する階層的なモデルをデプロイすることが多い。このような場合、フェデレートラーニング(FL)は、CIS内でモデルを共同でトレーニングするために用いられる。しかし、従来のトレーニング手法は、推論中のCISの動作力学、特にクライアント間のサービスレートにおける潜在的な高い均一性を見落としている。このギャップに対処するために、これらのサービスレートの変化を考慮に入れた、CISで明示的に使用するために設計された新しいFLアプローチを提案する。我々のフレームワークは厳密な理論的保証を提供するだけでなく、特にクライアント間での推論要求率やデータ可用性が不均一なシナリオにおいて、CISの最先端(SOTA)トレーニングアルゴリズムを超越している。

関連論文リスト

Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
論文参考訳（メタデータ） (2024-01-22T14:16:37Z)
Federated Learning for Computationally-Constrained Heterogeneous Devices: A Survey [3.219812767529503]
フェデレートラーニング(FL)は、通信オーバーヘッドとモデルの正確性の間のトレードオフをプライバシ保護する。現実のアプリケーションに広く適用するためにFLが克服しなければならない課題について概説する。
論文参考訳（メタデータ） (2023-07-18T12:05:36Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文参考訳（メタデータ） (2022-09-27T15:04:01Z)
Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
論文参考訳（メタデータ） (2021-10-28T08:14:57Z)
A New Clustering-Based Technique for the Acceleration of Deep Convolutional Networks [2.7393821783237184]
MCA(Model Compression and Acceleration)技術は、大規模な事前学習ネットワークをより小さなモデルに変換するために用いられる。本稿では,採用したセントロイド/表現量を増やすクラスタリングに基づく手法を提案する。これは、被雇用者に対して特別な構造を課すことによって達成され、これは、目の前の問題の特異性によって実現される。
論文参考訳（メタデータ） (2021-07-19T18:22:07Z)
HAPI: Hardware-Aware Progressive Inference [18.214367595727037]
畳み込みニューラルネットワーク(CNN)は最近、AIタスクの多様性における最先端技術となっている。その人気にもかかわらず、CNN推論は依然として高い計算コストがかかる。本研究は,ハイパフォーマンス・アーリーエグジット・ネットワークを創出するための新しい手法であるHAPIを提案する。
論文参考訳（メタデータ） (2020-08-10T09:55:18Z)
Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文参考訳（メタデータ） (2020-03-07T11:55:34Z)
Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。