論文の概要: Failure-Resilient Distributed Inference with Model Compression over Heterogeneous Edge Devices

• arxiv url: http://arxiv.org/abs/2406.14185v1
• Date: Thu, 20 Jun 2024 10:43:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 14:11:31.181641
• Title: Failure-Resilient Distributed Inference with Model Compression over Heterogeneous Edge Devices
• Title（参考訳）: 不均一エッジデバイス上でのモデル圧縮による耐故障性分散推論
• Authors: Li Wang, Liang Li, Lianming Xu, Xian Peng, Aiguo Fei,
• Abstract要約: ヘテロジニアスエッジデバイス上でのディープニューラルネットワークベース推論タスクの局所分散実行のための堅牢な協調推論機構であるRoCoInを提案する。 分散配置のための知識蒸留を用いて、大規模なモデルから学習される、独立的でコンパクトな学生モデルのセットを作成する。 特に、デバイスは戦略的にグループ化され、同じ学生モデルを冗長にデプロイし、実行し、推論プロセスが任意のローカル障害に対して回復力を持つようにします。
• 参考スコア（独自算出の注目度）: 9.423705897088672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The distributed inference paradigm enables the computation workload to be distributed across multiple devices, facilitating the implementations of deep learning based intelligent services on extremely resource-constrained Internet of Things (IoT) scenarios. Yet it raises great challenges to perform complicated inference tasks relying on a cluster of IoT devices that are heterogeneous in their computing/communication capacity and prone to crash or timeout failures. In this paper, we present RoCoIn, a robust cooperative inference mechanism for locally distributed execution of deep neural network-based inference tasks over heterogeneous edge devices. It creates a set of independent and compact student models that are learned from a large model using knowledge distillation for distributed deployment. In particular, the devices are strategically grouped to redundantly deploy and execute the same student model such that the inference process is resilient to any local failures, while a joint knowledge partition and student model assignment scheme are designed to minimize the response latency of the distributed inference system in the presence of devices with diverse capacities. Extensive simulations are conducted to corroborate the superior performance of our RoCoIn for distributed inference compared to several baselines, and the results demonstrate its efficacy in timely inference and failure resiliency.
• Abstract（参考訳）: 分散推論パラダイムは、計算ワークロードを複数のデバイスに分散させることを可能にし、極めてリソース制約のあるIoT(Internet of Things)シナリオ上でのディープラーニングベースのインテリジェントサービスの実装を容易にする。 しかし、計算/通信能力に異質なIoTデバイスのクラスタに依存し、クラッシュやタイムアウトの失敗を招きやすい複雑な推論タスクを実行するには、大きな課題が伴います。 本稿では、ヘテロジニアスエッジデバイス上でのディープニューラルネットワークベースの推論タスクの局所分散実行のための堅牢な協調推論機構であるRoCoInを提案する。 分散配置のための知識蒸留を用いて、大規模なモデルから学習される、独立的でコンパクトな学生モデルのセットを作成する。 特に、デバイスを戦略的にグループ化して、推論プロセスが任意のローカル障害に対して回復力を持つように、同じ学生モデルを冗長にデプロイ、実行させ、一方、多様な能力を有するデバイスの存在下で、分散推論システムの応答遅延を最小限に抑えるために、共同知識分割と学生モデル割り当てスキームを設計する。 分散推論におけるRoCoInの優れた性能を,複数のベースラインと比較して相関させる大規模なシミュレーションを行い,その効果を時間的推論と耐故障性で実証した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
  本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。 提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。 単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-10-03T01:13:17Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Fault-Tolerant Collaborative Inference through the Edge-PRUNE Framework [4.984601297028258]
  協調推論(Collaborative Inference)は、計算負荷の分散、レイテンシの低減、通信におけるプライバシ保護への対処のための手段である。 本稿では, フォールトトレラントな協調推論のための柔軟な基盤を提供するエッジ-PRUNE分散計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T13:16:53Z)
• Robust, Deep, and Reinforcement Learning for Management of Communication and Power Networks [6.09170287691728]
  本論文は、まず、分散不確実性や逆データに対して汎用機械学習モデルを堅牢にするための原則的手法を開発する。 次に、この堅牢なフレームワークの上に構築し、グラフメソッドによる堅牢な半教師付き学習を設計します。 この論文の第2部は、次世代の有線および無線ネットワークの可能性を完全に解き放つことを意図している。
  論文  参考訳（メタデータ） (2022-02-08T05:49:06Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Federated Learning Based on Dynamic Regularization [43.137064459520886]
  本稿では,ニューラルネットワークモデルを分散学習するための新しいフェデレーション学習手法を提案する。 サーバは、各ラウンドでランダムに選択されたデバイスのサブセット間の協力を編成する。
  論文  参考訳（メタデータ） (2021-11-08T03:58:28Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。