論文の概要: Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated
Learning
- arxiv url: http://arxiv.org/abs/2107.07233v1
- Date: Thu, 15 Jul 2021 10:16:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 21:34:21.977033
- Title: Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated
Learning
- Title(参考訳): 遺伝的CFL:クラスタ化フェデレーション学習におけるハイパーパラメータの最適化
- Authors: Shaashwat Agrawal, Sagnik Sarkar, Mamoun Alazab, Praveen Kumar Reddy
Maddikunta, Thippa Reddy Gadekallu and Quoc-Viet Pham
- Abstract要約: Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合した、ディープラーニングのための分散モデルである。
FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。
本稿では,遺伝的クラスタ化FL(Genetic CFL)と呼ばれるハイブリッドアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 4.710427287359642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a distributed model for deep learning that
integrates client-server architecture, edge computing, and real-time
intelligence. FL has the capability of revolutionizing machine learning (ML)
but lacks in the practicality of implementation due to technological
limitations, communication overhead, non-IID (independent and identically
distributed) data, and privacy concerns. Training a ML model over heterogeneous
non-IID data highly degrades the convergence rate and performance. The existing
traditional and clustered FL algorithms exhibit two main limitations, including
inefficient client training and static hyper-parameter utilization. To overcome
these limitations, we propose a novel hybrid algorithm, namely genetic
clustered FL (Genetic CFL), that clusters edge devices based on the training
hyper-parameters and genetically modifies the parameters cluster-wise. Then, we
introduce an algorithm that drastically increases the individual cluster
accuracy by integrating the density-based clustering and genetic
hyper-parameter optimization. The results are bench-marked using MNIST
handwritten digit dataset and the CIFAR-10 dataset. The proposed genetic CFL
shows significant improvements and works well with realistic cases of non-IID
and ambiguous data.
- Abstract(参考訳): Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合するディープラーニングのための分散モデルである。
FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。
不均一な非IIDデータによるMLモデルのトレーニングは収束率と性能を著しく低下させる。
従来のFLアルゴリズムとクラスタリングアルゴリズムには,非効率なクライアントトレーニングと静的ハイパーパラメータ利用の2つの主な制限がある。
これらの制約を克服するために、遺伝的クラスタリングFL(Genetic CFL)と呼ばれる新しいハイブリッドアルゴリズムを提案し、トレーニングハイパーパラメータに基づいてエッジデバイスをクラスタリングし、パラメータを遺伝的にクラスタワイズする。
次に,密度ベースのクラスタリングと遺伝的ハイパーパラメータ最適化を統合することにより,個々のクラスタの精度を劇的に向上させるアルゴリズムを提案する。
結果はMNISTの手書き桁データセットとCIFAR-10データセットを用いてベンチマークされる。
提案する遺伝的cflは有意な改善を示し,非iidおよびあいまいなデータの現実的な場合と良好に機能する。
関連論文リスト
- FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳(メタデータ) (2024-02-13T16:30:30Z) - DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset [23.11152686493894]
Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-20T08:36:12Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳(メタデータ) (2023-09-04T21:10:45Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Asynchronous Multi-Model Dynamic Federated Learning over Wireless
Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。
まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。
我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文 参考訳(メタデータ) (2023-05-22T21:39:38Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Stochastic Coded Federated Learning: Theoretical Analysis and Incentive
Mechanism Design [18.675244280002428]
我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。
SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。
SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
論文 参考訳(メタデータ) (2022-11-08T09:58:36Z) - FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to
System Heterogeneity [4.2059108111562935]
Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。
本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。
我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2022-04-07T15:58:33Z) - Auto-FedRL: Federated Hyperparameter Optimization for
Multi-institutional Medical Image Segmentation [48.821062916381685]
Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。
本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。
提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
論文 参考訳(メタデータ) (2022-03-12T04:11:42Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。