論文の概要: FedCBO: Reaching Group Consensus in Clustered Federated Learning through
Consensus-based Optimization
- arxiv url: http://arxiv.org/abs/2305.02894v1
- Date: Thu, 4 May 2023 15:02:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-05 15:04:07.260438
- Title: FedCBO: Reaching Group Consensus in Clustered Federated Learning through
Consensus-based Optimization
- Title（参考訳）: FedCBO: 集合的フェデレーション学習におけるグループ合意の合意に基づく最適化
- Authors: Jose A. Carrillo, Nicolas Garcia Trillos, Sixu Li, Yuhua Zhu
- Abstract要約: フェデレーション学習は、複数のユーザから学習モデルをトレーニングし、各ユーザが独自のデータセットを持ち、データのプライバシやコミュニケーション損失の制約に敏感な方法で統合することを目指している。
本稿では,コンセンサスに基づく最適化(CBO)のアイデアに触発された,グローバルでクラスタ化されたフェデレーション学習問題に対する新しい解決策を提案する。
我々の新しいCBO型法は、グループに不利な相互作用粒子のシステムに基づいている。
- 参考スコア（独自算出の注目度）: 1.911678487931003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is an important framework in modern machine learning that
seeks to integrate the training of learning models from multiple users, each
user having their own local data set, in a way that is sensitive to data
privacy and to communication loss constraints. In clustered federated learning,
one assumes an additional unknown group structure among users, and the goal is
to train models that are useful for each group, rather than simply training a
single global model for all users. In this paper, we propose a novel solution
to the problem of clustered federated learning that is inspired by ideas in
consensus-based optimization (CBO). Our new CBO-type method is based on a
system of interacting particles that is oblivious to group memberships. Our
model is motivated by rigorous mathematical reasoning, including a mean field
analysis describing the large number of particles limit of our particle system,
as well as convergence guarantees for the simultaneous global optimization of
general non-convex objective functions (corresponding to the loss functions of
each cluster of users) in the mean-field regime. Experimental results
demonstrate the efficacy of our FedCBO algorithm compared to other
state-of-the-art methods and help validate our methodological and theoretical
work.
- Abstract（参考訳）: フェデレーション学習(federated learning)は、データプライバシや通信損失の制約に敏感な方法で、複数のユーザ、各ユーザが独自のローカルデータセットを持つ学習モデルのトレーニングを統合することを目的とした、現代のマシンラーニングにおいて重要なフレームワークである。
クラスタ化された連合学習では、ユーザ間で未知のグループ構造を仮定し、目的は、単にすべてのユーザに対して単一のグローバルモデルをトレーニングするのではなく、各グループに有用なモデルをトレーニングすることだ。
本稿では,コンセンサスに基づく最適化(CBO)のアイデアにインスパイアされた,クラスタ型フェデレーション学習の課題に対する新しい解決策を提案する。
我々の新しいCBO方式は、グループメンバーシップに不利な相互作用粒子のシステムに基づいている。
我々のモデルは厳密な数学的推論によって動機付けられており、粒子系の多数の粒子限界を記述する平均場解析や、平均場状態における一般の非凸目的関数(各ユーザのクラスタの損失関数に対応する)の同時大域的最適化の収束保証を含む。
実験の結果,feedcboアルゴリズムは他の最先端手法と比較して有効性を示し,方法論的・理論的研究の検証に寄与した。
関連論文リスト
- LCFed: An Efficient Clustered Federated Learning Framework for Heterogeneous Data [21.341280782748278]
クラスタ型フェデレーションラーニング(CFL)は、フェデレーションラーニング(FL)におけるデータ不均一性に起因するパフォーマンス上の課題に対処する。
既存のCFLアプローチは、クラスタ内の知識共有を厳密に制限し、クラスタ内のトレーニングとグローバル知識の統合を欠いている。
これらの課題に対処するための効率的なCFLフレームワークであるLCFedを提案する。
論文 参考訳（メタデータ） (2025-01-03T14:59:48Z) - Guaranteeing Data Privacy in Federated Unlearning with Dynamic User Participation [21.07328631033828]
フェデレート・アンラーニング(FU)は、訓練されたグローバルなFLモデルから、フェデレート・ラーニング(FL)ユーザーのデータの影響を排除できる。
単純なFUメソッドでは、未学習のユーザを削除し、その後、残りのすべてのユーザとスクラッチから新しいグローバルFLモデルを再トレーニングする。
本稿では、動的ユーザ参加を効果的に管理しつつ、プライバシを確保することを目的とした、プライバシ保護のためのFUフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-03T03:39:07Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Efficient Cluster Selection for Personalized Federated Learning: A
Multi-Armed Bandit Approach [2.5477011559292175]
フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。
本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-29T16:46:50Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Proof of Swarm Based Ensemble Learning for Federated Learning
Applications [3.2536767864585663]
連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。
ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。
フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
論文 参考訳（メタデータ） (2022-12-28T13:53:34Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。