論文の概要: Mining Latent Relationships among Clients: Peer-to-peer Federated
Learning with Adaptive Neighbor Matching
- arxiv url: http://arxiv.org/abs/2203.12285v1
- Date: Wed, 23 Mar 2022 09:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 00:24:42.772450
- Title: Mining Latent Relationships among Clients: Peer-to-peer Federated
Learning with Adaptive Neighbor Matching
- Title（参考訳）: クライアント間の潜在関係のマイニング--適応隣接マッチングを用いたピアツーピアフェデレーション学習
- Authors: Zexi Li, Jiaxun Lu, Shuang Luo, Didi Zhu, Yunfeng Shao, Yinchuan Li,
Zhimeng Zhang, Chao Wu
- Abstract要約: フェデレートラーニング(FL)では、クライアントは多様な目的を持ち、すべてのクライアントの知識をひとつのグローバルモデルにマージすることで、ローカルパフォーマンスへの負の移行を引き起こす。
我々はP2P(P2P) FLを活用し、クライアントは中心サーバなしで隣人と通信する。
本稿では,クラスタ数を仮定することなく,効率的な通信トポロジを分散的に構築するアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 6.959557494221414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In federated learning (FL), clients may have diverse objectives, merging all
clients' knowledge into one global model will cause negative transfers to local
performance. Thus, clustered FL is proposed to group similar clients into
clusters and maintain several global models. Nevertheless, current clustered FL
algorithms require the assumption of the number of clusters, they are not
effective enough to explore the latent relationships among clients. However, we
take advantage of peer-to-peer (P2P) FL, where clients communicate with
neighbors without a central server and propose an algorithm that enables
clients to form an effective communication topology in a decentralized manner
without assuming the number of clusters. Additionally, the P2P setting will
release the concerns caused by the central server in centralized FL, such as
reliability and communication bandwidth problems. In our method, 1) we present
two novel metrics for measuring client similarity, applicable under P2P
protocols; 2) we devise a two-stage algorithm, in the first stage, an efficient
method to enable clients to match same-cluster neighbors with high confidence
is proposed; 3) then in the second stage, a heuristic method based on
Expectation Maximization under the Gaussian Mixture Model assumption of
similarities is used for clients to discover more neighbors with similar
objectives. We make a theoretical analysis of how our work is superior to the
P2P FL counterpart and extensive experiments show that our method outperforms
all P2P FL baselines and has comparable or even superior performance to
centralized cluster FL. Moreover, results show that our method is much
effective in mining latent cluster relationships under various heterogeneity
without assuming the number of clusters and it is effective even under low
communication budgets.
- Abstract（参考訳）: フェデレーション学習(fl)では、クライアントは多様な目的を持ち、すべてのクライアントの知識をひとつのグローバルモデルに統合すると、ローカルなパフォーマンスに負の転送を引き起こす。
したがって、クラスタ化FLは、類似のクライアントをクラスタにグループ化し、いくつかのグローバルモデルを維持するために提案される。
しかしながら、現在のクラスタ型flアルゴリズムではクラスタ数を仮定する必要があるため、クライアント間の潜在関係を探索するには有効ではない。
しかし,P2P (P2P) FLを利用して,クライアントが中央サーバを使わずに隣人と通信し,クラスタ数を仮定することなく効率的な通信トポロジを分散的に構築するアルゴリズムを提案する。
さらに、P2P設定は、信頼性や通信帯域幅の問題など、中央サーバが集中的なFLで引き起こす懸念を解放する。
私たちの方法では
1) P2Pプロトコルで適用可能なクライアント類似度を測定するための2つの新しい指標を提案する。
2) 2段階のアルゴリズムを考案し,まず,クライアントが同一クラスタの隣人を高い信頼性でマッチングできる効率的な手法を提案する。
3)第2段階では,類似性の仮定としてガウス混合モデルに基づく期待最大化に基づくヒューリスティックな手法を用いて,類似した目的を持つ隣人を見つけ出す。
提案手法がP2P FLよりも優れているかの理論解析を行い,本手法がP2P FLベースラインを全て上回り,集中クラスタFLと同等あるいはそれ以上の性能を有することを示す。
また,提案手法は,クラスタ数を仮定することなく,様々な不均一性下での潜在クラスタ関係の抽出に有効であり,低通信予算でも有効であることを示した。
関連論文リスト
- Smart Sampling: Helping from Friendly Neighbors for Decentralized Federated Learning [10.917048408073846]
分散FL(DFL)における近傍のサンプリングと集約のための簡易かつ効率的なアルゴリズムであるAFIND+を導入する。
AFIND+は有用な隣人を識別し、選択された隣人の数を適応的に調整し、サンプルされた隣人のモデルを戦略的に集約する。
実世界のデータセットの数値的な結果は、AFIND+がDFLの他のサンプリングアルゴリズムより優れていることを示している。
論文 参考訳（メタデータ） (2024-07-05T12:10:54Z) - Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。
本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T12:17:47Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - FedChain: Chained Algorithms for Near-Optimal Communication Cost in
Federated Learning [24.812767482563878]
フェデレートラーニング(FL)は、多くのクライアントに分散した異種データ上でモデルをトレーニングする際のコミュニケーションの複雑さを最小限にすることを目的としている。
本稿では,局所的手法と大域的手法の強みを組み合わせたアルゴリズムフレームワークであるFedChainを提案する。
論文 参考訳（メタデータ） (2021-08-16T02:57:06Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Clustered Sampling: Low-Variance and Improved Representativity for
Clients Selection in Federated Learning [4.530678016396477]
本研究は,フェデレートラーニング(FL)におけるサーバとクライアント間の通信を最適化する問題に対処する。
FLの現在のサンプリングアプローチは、サーバクライアントの通信とトレーニングの安定性の観点から、偏見または不最適のいずれかです。
クラスタ化サンプリングがクライアントの表現性の向上とFLにおけるクライアント集約重みの分散の低減につながることを証明した。
論文 参考訳（メタデータ） (2021-05-12T18:19:20Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。