論文の概要: FedX: Adaptive Model Decomposition and Quantization for IoT Federated Learning

• arxiv url: http://arxiv.org/abs/2504.12849v1
• Date: Thu, 17 Apr 2025 11:08:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:36:04.847462
• Title: FedX: Adaptive Model Decomposition and Quantization for IoT Federated Learning
• Title（参考訳）: FedX: IoTフェデレーション学習のための適応モデル分解と量子化
• Authors: Phung Lai, Xiaopeng Jiang, Hai Phan, Cristian Borcea, Khang Tran, An Chen, Vijaya Datta Mayyuri, Ruoming Jin,
• Abstract要約: フェデレートラーニング(FL)は、データ共有なしで複数のデバイス間で協調的なトレーニングを可能にする。 本稿では,IoTのための新しい適応モデル分解および量子化FLシステムであるFedXを提案する。 また,FedXの量子化時間は最大8.43倍,デバイス上での計算時間は1.5倍,エンド・ツー・エンドでの学習時間はベースラインFLシステムに比べて1.36倍に向上した。
• 参考スコア（独自算出の注目度）: 12.271321978561183
• License:
• Abstract: Federated Learning (FL) allows collaborative training among multiple devices without data sharing, thus enabling privacy-sensitive applications on mobile or Internet of Things (IoT) devices, such as mobile health and asset tracking. However, designing an FL system with good model utility that works with low computation/communication overhead on heterogeneous, resource-constrained mobile/IoT devices is challenging. To address this problem, this paper proposes FedX, a novel adaptive model decomposition and quantization FL system for IoT. To balance utility with resource constraints on IoT devices, FedX decomposes a global FL model into different sub-networks with adaptive numbers of quantized bits for different devices. The key idea is that a device with fewer resources receives a smaller sub-network for lower overhead but utilizes a larger number of quantized bits for higher model utility, and vice versa. The quantization operations in FedX are done at the server to reduce the computational load on devices. FedX iteratively minimizes the losses in the devices' local data and in the server's public data using quantized sub-networks under a regularization term, and thus it maximizes the benefits of combining FL with model quantization through knowledge sharing among the server and devices in a cost-effective training process. Extensive experiments show that FedX significantly improves quantization times by up to 8.43X, on-device computation time by 1.5X, and total end-to-end training time by 1.36X, compared with baseline FL systems. We guarantee the global model convergence theoretically and validate local model convergence empirically, highlighting FedX's optimization efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データ共有のない複数のデバイス間の協調トレーニングを可能にするため、モバイルヘルスやアセットトラッキングなど、モバイルまたはモノのインターネット(IoT)デバイス上で、プライバシに敏感なアプリケーションを可能にする。 しかし、不均一でリソースに制約のあるモバイル/IoTデバイス上で、計算/通信のオーバーヘッドを低く抑える優れたモデルユーティリティを備えたFLシステムの設計は困難である。 そこで本研究では,IoTのための新しい適応モデル分解および量子化FLシステムであるFedXを提案する。 IoTデバイスにおけるユーティリティとリソースの制約のバランスをとるため、FedXはグローバルFLモデルを異なるサブネットワークに分解し、異なるデバイスに対して適応的な量子化されたビット数を割り当てる。 鍵となる考え方は、リソースが少ないデバイスはより少ないオーバーヘッドで小さなサブネットワークを受信するが、より高いモデルユーティリティのためにより多くの量子化ビットを使用する、というものである。 FedXの量子化処理は、デバイス上の計算負荷を減らすためにサーバで実行される。 FedXは、装置のローカルデータとサーバの公開データにおける損失を、正規化期間下で量子化サブネットワークを用いて反復的に最小化するので、コスト効率のよいトレーニングプロセスにおいて、サーバとデバイス間の知識共有を通じてFLとモデル量子化を組み合わせる利点を最大化する。 大規模な実験により、FedXは標準FLシステムと比較して量子化時間を最大8.43倍、デバイス上での計算時間を1.5倍、エンドツーエンドのトレーニング時間を1.36倍改善した。 我々は,グローバルモデル収束を理論的に保証し,局所モデル収束を実証的に検証し,FedXの最適化効率を強調する。

関連論文リスト

• Federated Split Learning with Model Pruning and Gradient Quantization in Wireless Networks [7.439160287320074]
  Federated split learning (FedSL)は、モデル分割によるエッジデバイスとサーバ間の協調トレーニングを実装している。 本稿では,リソース制約のあるエッジデバイスのトレーニング負担を軽減する軽量なFedSL方式を提案する。 提案手法の収束性能を定量化するために理論的解析を行う。
  論文  参考訳（メタデータ） (2024-12-09T11:43:03Z)
• FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing [14.938531944702193]
  局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。 FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。 FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
  論文  参考訳（メタデータ） (2024-02-13T16:30:30Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)
• Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices [40.69663094185572]
  フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。 実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。 この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。