論文の概要: FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning

• arxiv url: http://arxiv.org/abs/2307.10317v2
• Date: Mon, 13 Nov 2023 16:57:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 21:01:23.543915
• Title: FedBug: A Bottom-Up Gradual Unfreezing Framework for Federated Learning
• Title（参考訳）: FedBug:フェデレーションラーニングのためのボトムアップな段階的凍結フレームワーク
• Authors: Chia-Hsiang Kao, Yu-Chiang Frank Wang
• Abstract要約: Federated Learning(FL)は、複数のクライアントが共有モデルにコントリビュート可能な、協調的なトレーニングフレームワークを提供する。 ローカルデータセットの異種性のため、更新されたクライアントモデルは、クライアントドリフトの問題として知られる、互いにオーバーフィットし、分岐する可能性がある。 クライアントのドリフトを効果的に軽減する新しいFLフレームワークであるFedBugを提案する。
• 参考スコア（独自算出の注目度）: 36.18217687935658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) offers a collaborative training framework, allowing multiple clients to contribute to a shared model without compromising data privacy. Due to the heterogeneous nature of local datasets, updated client models may overfit and diverge from one another, commonly known as the problem of client drift. In this paper, we propose FedBug (Federated Learning with Bottom-Up Gradual Unfreezing), a novel FL framework designed to effectively mitigate client drift. FedBug adaptively leverages the client model parameters, distributed by the server at each global round, as the reference points for cross-client alignment. Specifically, on the client side, FedBug begins by freezing the entire model, then gradually unfreezes the layers, from the input layer to the output layer. This bottom-up approach allows models to train the newly thawed layers to project data into a latent space, wherein the separating hyperplanes remain consistent across all clients. We theoretically analyze FedBug in a novel over-parameterization FL setup, revealing its superior convergence rate compared to FedAvg. Through comprehensive experiments, spanning various datasets, training conditions, and network architectures, we validate the efficacy of FedBug. Our contributions encompass a novel FL framework, theoretical analysis, and empirical validation, demonstrating the wide potential and applicability of FedBug.
• Abstract（参考訳）: federated learning(fl)は、データプライバシを損なうことなく、複数のクライアントが共有モデルにコントリビュートできる、コラボレーティブなトレーニングフレームワークを提供する。 ローカルデータセットの異種性のため、更新されたクライアントモデルは、クライアントドリフト問題として知られる、相互に過剰に適合し、分岐する可能性がある。 本稿では,FedBug (Federated Learning with Bottom-Up Gradual Unfreezing)を提案する。 fedbugは、クライアント間のアライメントの参照ポイントとして、グローバルラウンド毎にサーバが配布するクライアントモデルパラメータを適応的に活用する。 具体的には、クライアント側では、FedBugはモデル全体を凍結してから始まり、徐々にレイヤを、入力層から出力層へと凍結させます。 このボトムアップアプローチにより、モデルは新しく解凍した層を訓練してデータを潜在空間に投影することができる。 我々はFedBugを新しいパラメータ化FLセットアップで理論的に解析し、FedAvgよりも優れた収束率を示す。 さまざまなデータセット、トレーニング条件、ネットワークアーキテクチャにまたがる包括的な実験を通じて、FedBugの有効性を検証する。 提案するコントリビューションには,新たなFLフレームワーク,理論解析,実証検証などが含まれ,FedBugの幅広い可能性と適用性を示す。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• FedNS: Improving Federated Learning for collaborative image classification on mobile clients [22.980223900446997]
  Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。 本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。 我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
  論文  参考訳（メタデータ） (2021-01-20T06:45:46Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。