Fugu-MT 論文翻訳(概要): FedCliP: Federated Learning with Client Pruning

論文の概要: FedCliP: Federated Learning with Client Pruning

arxiv url: http://arxiv.org/abs/2301.06768v1
Date: Tue, 17 Jan 2023 09:15:37 GMT
ステータス: 処理完了
システム内更新日: 2023-01-18 14:38:04.443403
Title: FedCliP: Federated Learning with Client Pruning
Title（参考訳）: FedCliP: クライアントプランニングによるフェデレーション学習
Authors: Beibei Li, Zerui Shao, Ao Liu, Peiran Wang
Abstract要約: フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
参考スコア（独自算出の注目度）: 3.796320380104124
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) is a newly emerging distributed learning paradigm that allows numerous participating clients to train machine learning models collaboratively, each with its data distribution and without sharing their data. One fundamental bottleneck in FL is the heavy communication overheads of high-dimensional models between the distributed clients and the central server. Previous works often condense models into compact formats by gradient compression or distillation to overcome communication limitations. In contrast, we propose FedCliP in this work, the first communication efficient FL training framework from a macro perspective, which can position valid clients participating in FL quickly and constantly prune redundant clients. Specifically, We first calculate the reliability score based on the training loss and model divergence as an indicator to measure the client pruning. We propose a valid client determination approximation framework based on the reliability score with Gaussian Scale Mixture (GSM) modeling for federated participating clients pruning. Besides, we develop a communication efficient client pruning training method in the FL scenario. Experimental results on MNIST dataset show that FedCliP has up to 10%~70% communication costs for converged models at only a 0.2% loss in accuracy.
Abstract（参考訳）: Federated Learning(FL)は、新たに登場した分散学習パラダイムで、多数の参加するクライアントが、データの分散とデータの共有を伴わずに、機械学習モデルを協調的にトレーニングすることができる。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の高次元モデルの通信オーバーヘッドである。従来の作業はしばしば、通信制限を克服するために、勾配圧縮または蒸留によってモデルをコンパクトなフォーマットに凝縮する。これとは対照的に,FedCliPはマクロの観点から最初のコミュニケーション効率の良いFLトレーニングフレームワークであり,FLに参加する有効なクライアントを迅速かつ常に冗長なクライアントに配置することができる。具体的には、まず、クライアントのプルーニングを測定する指標として、トレーニング損失とモデル分岐に基づく信頼性スコアを算出する。本稿では,gsm(gaussian scale mixed)モデルを用いた信頼度スコアに基づく有効クライアント決定近似フレームワークを提案する。さらに,FLシナリオにおける通信効率のよいクライアントプルーニング訓練手法を開発した。 mnistデータセットを用いた実験の結果、fedexlipは収束モデルの通信コストが最大で10%～70%であり、精度が0.2%低下していることがわかった。

関連論文リスト

Towards Client Driven Federated Learning [7.528642177161784]
私たちは、クライアントを駆動する新しいFLフレームワークであるクライアント駆動フェデレートラーニング(CDFL:Client-Driven Federated Learning)を紹介します。 CDFLでは、各クライアントは、ローカルにトレーニングされたモデルをサーバにアップロードし、ローカルタスクに合わせてカスタマイズされたモデルを受け取ることで、独立して非同期にモデルを更新する。
論文参考訳（メタデータ） (2024-05-24T10:17:49Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering [28.057411252785176]
Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-03-07T01:50:36Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
Federated Learning from Pre-Trained Models: A Contrastive Learning Approach [43.893267526525904]
Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
論文参考訳（メタデータ） (2022-09-21T03:16:57Z)
Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文参考訳（メタデータ） (2021-05-31T17:54:29Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。 FLに関連する課題の1つは、クライアント間の統計的多様性である。封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-16T00:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。