論文の概要: Split Knowledge Distillation for Large Models in IoT: Architecture, Challenges, and Solutions

• arxiv url: http://arxiv.org/abs/2501.17164v1
• Date: Tue, 17 Dec 2024 02:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 07:18:57.970197
• Title: Split Knowledge Distillation for Large Models in IoT: Architecture, Challenges, and Solutions
• Title（参考訳）: IoTにおける大規模モデルのための分割知識蒸留 - アーキテクチャ、課題、ソリューション
• Authors: Zuguang Li, Wen Wu, Shaohua Wu, Qiaohua Lin, Yaping Sun, Hui Wang,
• Abstract要約: 大規模モデル(LM)はIoT(Internet of Things)システムにおいて大きな可能性を秘めており、インテリジェントな音声アシスタント、予測保守、医療監視などのアプリケーションを可能にする。 エッジサーバ上でのLMのトレーニングは、データプライバシの懸念を高め、IoTデバイスに直接デプロイすることは、計算リソースとメモリリソースの制限によって制限される。 そこで本研究では,LMをIoTデバイスのより小型でデプロイ可能なバージョンに効率よく蒸留し,生データをローカルに残すための分割知識蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.25411682771788
• License:
• Abstract: Large models (LMs) have immense potential in Internet of Things (IoT) systems, enabling applications such as intelligent voice assistants, predictive maintenance, and healthcare monitoring. However, training LMs on edge servers raises data privacy concerns, while deploying them directly on IoT devices is constrained by limited computational and memory resources. We analyze the key challenges of training LMs in IoT systems, including energy constraints, latency requirements, and device heterogeneity, and propose potential solutions such as dynamic resource management, adaptive model partitioning, and clustered collaborative training. Furthermore, we propose a split knowledge distillation framework to efficiently distill LMs into smaller, deployable versions for IoT devices while ensuring raw data remains local. This framework integrates knowledge distillation and split learning to minimize energy consumption and meet low model training delay requirements. A case study is presented to evaluate the feasibility and performance of the proposed framework.
• Abstract（参考訳）: 大規模モデル(LM)はIoT(Internet of Things)システムにおいて大きな可能性を秘めており、インテリジェントな音声アシスタント、予測保守、医療監視などのアプリケーションを可能にする。 しかしながら、エッジサーバ上でのLMのトレーニングは、データプライバシの懸念を提起する一方で、IoTデバイスに直接デプロイすることは、計算リソースとメモリリソースの制限によって制限される。 エネルギー制約やレイテンシ要件,デバイスの不均一性など,IoTシステムにおけるLMのトレーニングに関する重要な課題を分析し,動的リソース管理や適応モデルパーティショニング,クラスタ化協調トレーニングといった潜在的なソリューションを提案する。 さらに,本研究では, LMをより小さく, デプロイ可能なIoTデバイスに効率よく蒸留し, 生データをローカルに残すための分割知識蒸留フレームワークを提案する。 このフレームワークは知識蒸留と分割学習を統合し、エネルギー消費を最小化し、低モデルトレーニング遅延要求を満たす。 提案フレームワークの有効性と性能を評価するために,ケーススタディを提案する。

関連論文リスト

• Speech Emotion Recognition under Resource Constraints with Data Distillation [64.36799373890916]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす。 モノのインターネットにおけるエッジデバイスの出現は、複雑なディープラーニングモデルを構築する上での課題を示している。 本研究では,IoTアプリケーションにおけるSERモデルの効率的な開発を容易にするためのデータ蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T13:10:46Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Edge-assisted U-Shaped Split Federated Learning with Privacy-preserving for Internet of Things [4.68267059122563]
  本稿では,エッジサーバの高性能機能を活用した,エッジ支援型U-Shaped Split Federated Learning (EUSFL) フレームワークを提案する。 このフレームワークでは、フェデレートラーニング(FL)を活用し、データ保持者がデータを共有せずに協調的にモデルをトレーニングできるようにします。 また,データの特徴やラベルが復元攻撃に対して確実に耐えられるように,ラベルDPと呼ばれる新しいノイズ機構を提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:14:41Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Federated Learning in IoT: a Survey from a Resource-Constrained Perspective [0.0]
  分散機械学習技術であるフェデレートラーニング(FL)は、さまざまな分散データソースから機械学習モデルを収集、トレーニングするために広く使用されている。 しかし、IoTデバイスのリソース制限の性質は、現実世界における大規模デプロイメントFLを妨げている。 本研究では,資源制約型モノのインターネット(IoT)環境におけるフェデレートラーニング(FL)導入に伴う課題と解決策を包括的に調査する。
  論文  参考訳（メタデータ） (2023-08-25T03:31:22Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
  Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。 MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。 本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T07:37:10Z)
• Reliable Fleet Analytics for Edge IoT Solutions [0.0]
  AIoTアプリケーションのエッジで機械学習を容易にするためのフレームワークを提案する。 コントリビューションは、大規模にフリート分析を提供するためのサービス、ツール、メソッドを含むアーキテクチャである。 本稿では,大学キャンパスの部屋でiotデバイスを用いた実験を行うことで,フレームワークの予備検証を行う。
  論文  参考訳（メタデータ） (2021-01-12T11:28:43Z)
• Optimizing Resource-Efficiency for Federated Edge Intelligence in IoT Networks [96.24723959137218]
  We study a edge intelligence-based IoT network that a set of edge server learn a shared model using federated learning (FL)。 フェデレーションエッジインテリジェンス(FEI)と呼ばれる新しいフレームワークを提案し、エッジサーバがIoTネットワークのエネルギーコストに応じて必要なデータサンプル数を評価できるようにする。 提案アルゴリズムがIoTネットワークのトポロジ的情報を漏洩したり開示したりしないことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:51:59Z)
• LIMITS: Lightweight Machine Learning for IoT Systems with Resource Limitations [8.647853543335662]
  我々は、IoTシステムのための新しいオープンソースのフレームワークLIghtweight Machine Learning(LIMITS)を紹介する。 LIMITSは、ターゲットIoTプラットフォームの実際のコンパイルツールチェーンを明示的に考慮した、プラットフォーム・イン・ザ・ループのアプローチを適用している。 LIMITSを携帯電話データレート予測と無線車種分類に応用し,その妥当性を検証した。
  論文  参考訳（メタデータ） (2020-01-28T06:34:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。