論文の概要: Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices

• arxiv url: http://arxiv.org/abs/2310.13981v2
• Date: Sun, 29 Oct 2023 02:34:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 19:21:04.443084
• Title: Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices
• Title（参考訳）: 不均一なモバイルエッジデバイス上でのフェデレーション学習のための生成AIの探索
• Authors: Peichun Li, Hanwen Zhang, Yuan Wu, Liping Qian, Rong Yu, Dusit Niyato, Xuemin Shen
• Abstract要約: ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 72.61177465035031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed Artificial Intelligence (AI) model training over mobile edge networks encounters significant challenges due to the data and resource heterogeneity of edge devices. The former hampers the convergence rate of the global model, while the latter diminishes the devices' resource utilization efficiency. In this paper, we propose a generative AI-empowered federated learning to address these challenges by leveraging the idea of FIlling the MIssing (FIMI) portion of local data. Specifically, FIMI can be considered as a resource-aware data augmentation method that effectively mitigates the data heterogeneity while ensuring efficient FL training. We first quantify the relationship between the training data amount and the learning performance. We then study the FIMI optimization problem with the objective of minimizing the device-side overall energy consumption subject to required learning performance constraints. The decomposition-based analysis and the cross-entropy searching method are leveraged to derive the solution, where each device is assigned suitable AI-synthesized data and resource utilization policy. Experiment results demonstrate that FIMI can save up to 50% of the device-side energy to achieve the target global test accuracy in comparison with the existing methods. Meanwhile, FIMI can significantly enhance the converged global accuracy under the non-independently-and-identically distribution (non-IID) data.
• Abstract（参考訳）: モバイルエッジネットワーク上での分散人工知能(AI)モデルのトレーニングは、エッジデバイスのデータとリソースの不均一性によって大きな課題に直面している。 前者はグローバルモデルの収束率を低下させ、後者は機器の資源利用効率を低下させる。 本稿では,局所データの欠落部分(fimi)を埋めるというアイデアを活用し,これらの課題に対処するために,生成型aiによる連合学習を提案する。 具体的には、FIMIは、効率的なFLトレーニングを確保しつつ、データ不均一性を効果的に軽減する、リソース対応のデータ拡張方法であると考えることができる。 まず,学習データ量と学習性能の関係を定量化する。 次に,FIMI最適化問題を学習性能制約を考慮したデバイス側全体のエネルギー消費を最小化する目的で検討する。 分解に基づく解析とクロスエントロピー探索法を利用して、各デバイスに適切なAI合成データと資源利用ポリシーを割り当てたソリューションを導出する。 実験の結果、FIMIはデバイス側エネルギーの最大50%を節約でき、既存の方法と比較して、対象のグローバルなテスト精度を達成できることがわかった。 一方、FIMIは非独立分布(非IID)データの下で、収束した大域的精度を大幅に向上させることができる。

関連論文リスト

• FedMHO: Heterogeneous One-Shot Federated Learning Towards Resource-Constrained Edge Devices [12.08958206272527]
  フェデレートラーニング(FL)はエッジコンピューティングのシナリオにおいてますます採用され、多くの異種クライアントが制約や十分なリソースの下で運用されている。 ワンショットFLは通信オーバーヘッドを軽減するための有望なアプローチとして登場し、モデルヘテロジニアスFLはクライアント間の多様なコンピューティングリソースの問題を解決する。 本稿では,リソースに制約のあるデバイス上で,リソースに十分なクライアントと軽量な生成モデルに対して,詳細な分類モデルを活用するFedMHOという新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T15:54:56Z)
• Learn More by Using Less: Distributed Learning with Energy-Constrained Devices [3.730504020733928]
  Federated Learning(FL)は、分散モデルトレーニングのソリューションとして、分散化されたプライバシ保護デバイスに登場した。 本稿では,電池に制約のあるデバイス上でのクライアント選択とトレーニング作業の最適化を目的とした,エネルギーを意識したFLフレームワークであるLeanFedを提案する。
  論文  参考訳（メタデータ） (2024-12-03T09:06:57Z)
• Generative AI-Powered Plugin for Robust Federated Learning in Heterogeneous IoT Networks [3.536605202672355]
  フェデレーション学習により、エッジデバイスは、データのローカライズを維持しながら、データのプライバシを維持しながら、グローバルモデルを協調的にトレーニングすることが可能になる。 我々は,AI強化データ拡張と均衡サンプリング戦略により,IIDからIDDへの非IIDデータ分布を近似する,フェデレーション最適化技術のための新しいプラグインを提案する。
  論文  参考訳（メタデータ） (2024-10-31T11:13:47Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Differentially Private Federated Learning for Resource-Constrained Internet of Things [24.58409432248375]
  フェデレーション学習は、中央にデータをアップロードすることなく、分散されたスマートデバイスから大量のデータを分析できる。 本稿では、IoTのリソース制約されたスマートデバイスにまたがるデータから機械学習モデルを効率的にトレーニングするためのDP-PASGDと呼ばれる新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-28T04:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。