Fugu-MT 論文翻訳(概要): FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning

論文の概要: FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning

arxiv url: http://arxiv.org/abs/2207.14130v1
Date: Thu, 28 Jul 2022 14:51:41 GMT
ステータス: 処理完了
システム内更新日: 2022-07-29 12:45:40.087387
Title: FedVARP: Tackling the Variance Due to Partial Client Participation in Federated Learning
Title（参考訳）: fedvarp: フェデレーション学習における部分的クライアント参加による分散対策
Authors: Divyansh Jhunjhunwala, Pranay Sharma, Aushim Nagarkatti and Gauri Joshi
Abstract要約: データヘテロジニアス・フェデレーション・ラーニング(FL)システムは2つの重要な収束誤差の原因を負っている。そこで本研究では,サーバに導入した分散削減アルゴリズムにより,クライアントの部分的参加によるエラーを解消する手法を提案する。
参考スコア（独自算出の注目度）: 12.705015230789446
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Data-heterogeneous federated learning (FL) systems suffer from two significant sources of convergence error: 1) client drift error caused by performing multiple local optimization steps at clients, and 2) partial client participation error caused by the fact that only a small subset of the edge clients participate in every training round. We find that among these, only the former has received significant attention in the literature. To remedy this, we propose FedVARP, a novel variance reduction algorithm applied at the server that eliminates error due to partial client participation. To do so, the server simply maintains in memory the most recent update for each client and uses these as surrogate updates for the non-participating clients in every round. Further, to alleviate the memory requirement at the server, we propose a novel clustering-based variance reduction algorithm ClusterFedVARP. Unlike previously proposed methods, both FedVARP and ClusterFedVARP do not require additional computation at clients or communication of additional optimization parameters. Through extensive experiments, we show that FedVARP outperforms state-of-the-art methods, and ClusterFedVARP achieves performance comparable to FedVARP with much less memory requirements.
Abstract（参考訳）: data-heterogenous federated learning (fl) システムは、2つの重要な収束エラーの原因に苦しむ。 1)クライアントにおける複数の局所最適化ステップの実行によるクライアントドリフトエラー 2) エッジクライアントのごく一部のサブセットがトレーニングラウンド毎に参加しているという事実による部分的なクライアント参加エラー。これらのうち、文献で注目されているのは前者のみである。そこで本研究では,部分的クライアント参加によるエラーを解消する新しい分散低減アルゴリズムfeedvarpを提案する。そのため、サーバは、各クライアントの最新の更新をメモリ内で保持し、ラウンド毎に非参加クライアントの更新をサロゲートとして使用する。さらに,サーバのメモリ要求を軽減するため,クラスタリングに基づく分散削減アルゴリズムであるclusterfedvarpを提案する。以前提案された方法とは異なり、FedVARPとClusterFedVARPはクライアントでの追加計算や追加の最適化パラメータの通信を必要としない。実験により,FedVARPは最先端の手法より優れており,ClusterFedVARPはFedVARPに匹敵する性能を達成し,メモリ要求をはるかに少なくすることを示す。

関連論文リスト

Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA [24.871424801066006]
LLM(Large Language Models)のフェデレートされた微調整は、データプライバシを保持しながら、さまざまなデータセットにまたがるタスク固有の適応を可能にする。ヘテロジニアス適応型低ランク適応(LoRA)ファインチューニングLDMフレームワーク(HAFL)を提案する。提案手法は,低通信サイズで迅速に収束し,クライアントへのモデル配信時の性能劣化を回避する。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文参考訳（メタデータ） (2023-05-26T19:25:49Z)
Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T04:29:44Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文参考訳（メタデータ） (2022-11-10T13:20:56Z)
Mining Latent Relationships among Clients: Peer-to-peer Federated Learning with Adaptive Neighbor Matching [6.959557494221414]
フェデレートラーニング(FL)では、クライアントは多様な目的を持ち、すべてのクライアントの知識をひとつのグローバルモデルにマージすることで、ローカルパフォーマンスへの負の移行を引き起こす。我々はP2P(P2P) FLを活用し、クライアントは中心サーバなしで隣人と通信する。本稿では,クラスタ数を仮定することなく,効率的な通信トポロジを分散的に構築するアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-23T09:10:14Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Server-Side Stepsizes and Sampling Without Replacement Provably Help in Federated Optimization [6.935471115003109]
本稿では,クライアント更新のフェデレーション学習に関する理論的研究を行う。特に、ローカライズが小さくなると、すべてのクライアントに対してアップデートを行うことができることを証明しています。また,サーバ側ステップサイズを小さくすることで,クライアントサンプリングのノイズを制御できることも証明した。
論文参考訳（メタデータ） (2022-01-26T17:26:25Z)
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning [3.2095659532757916]
フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で、機械学習モデルの協調トレーニングに参加する複数のクライアントを扱う。この設定では、各クライアントのデータは自身にプライベートであり、他のクライアントやサーバに転送できない。我々はこれらの問題をFederated Relevant Client Selection (FRCS)と呼ぶ。
論文参考訳（メタデータ） (2021-10-23T16:34:42Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。