論文の概要: FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2410.18862v1
• Date: Thu, 24 Oct 2024 15:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:12.914083
• Title: FedSPD: A Soft-clustering Approach for Personalized Decentralized Federated Learning
• Title（参考訳）: FedSPD: 個人化された分散学習のためのソフトクラスタリングアプローチ
• Authors: I-Cheng Lin, Osman Yagan, Carlee Joe-Wong,
• Abstract要約: フェデレーション学習は、分散クライアントがローカルデータを使用して機械学習モデルを協調的にトレーニングするためのフレームワークである。 分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。 低接続性ネットワークにおいてもFedSPDが正確なモデルを学ぶことを示す。
• 参考スコア（独自算出の注目度）: 18.38030098837294
• License:
• Abstract: Federated learning has recently gained popularity as a framework for distributed clients to collaboratively train a machine learning model using local data. While traditional federated learning relies on a central server for model aggregation, recent advancements adopt a decentralized framework, enabling direct model exchange between clients and eliminating the single point of failure. However, existing decentralized frameworks often assume all clients train a shared model. Personalizing each client's model can enhance performance, especially with heterogeneous client data distributions. We propose FedSPD, an efficient personalized federated learning algorithm for the decentralized setting, and show that it learns accurate models even in low-connectivity networks. To provide theoretical guarantees on convergence, we introduce a clustering-based framework that enables consensus on models for distinct data clusters while personalizing to unique mixtures of these clusters at different clients. This flexibility, allowing selective model updates based on data distribution, substantially reduces communication costs compared to prior work on personalized federated learning in decentralized settings. Experimental results on real-world datasets show that FedSPD outperforms multiple decentralized variants of personalized federated learning algorithms, especially in scenarios with low-connectivity networks.
• Abstract（参考訳）: フェデレーション学習は、最近、分散クライアントがローカルデータを使用して機械学習モデルを協調訓練するためのフレームワークとして人気を集めている。 従来のフェデレーション学習はモデル集約のための中央サーバに依存しているが、最近の進歩は分散フレームワークを採用しており、クライアント間で直接モデル交換を可能にし、単一障害点を排除している。 しかしながら、既存の分散フレームワークは、すべてのクライアントが共有モデルをトレーニングしていると仮定することが多い。 各クライアントのモデルをパーソナライズすることでパフォーマンスが向上し、特に異種クライアントデータの分散が向上する。 低接続性ネットワークでも正確なモデルが学習可能であることを示すために,分散環境のための効率的パーソナライズされたフェデレーション学習アルゴリズムであるFedSPDを提案する。 収束に関する理論的保証を提供するため、異なるクライアントでこれらのクラスタのユニークな混合をパーソナライズしながら、異なるデータクラスタのモデルに対するコンセンサスを可能にするクラスタリングベースのフレームワークを導入する。 この柔軟性により、データ分散に基づいた選択的モデル更新が可能となり、分散環境でのパーソナライズされたフェデレーション学習の以前の作業に比べて、通信コストが大幅に削減される。 実世界のデータセットでの実験結果から、フェデラルSPDはパーソナライズされたフェデレーション学習アルゴリズムの複数の分散変種、特に低接続性ネットワークのシナリオにおいて、より優れています。

関連論文リスト

• Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
  Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。 これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。 この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
  論文  参考訳（メタデータ） (2024-08-20T09:05:44Z)
• Proximity-based Self-Federated Learning [1.0066310107046081]
  本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。 従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
  論文  参考訳（メタデータ） (2024-07-17T08:44:45Z)
• FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering [28.057411252785176]
  Federated Learning(FL)は、分散型デバイス上で、ローカルデータを公開せずにコラボレーティブなモデルトレーニングを可能にする、新興の分散機械学習パラダイムである。 本稿では,局所モデル重みとクライアントデータ分布の相関を利用した新しいCFL手法であるFedClustを提案する。
  論文  参考訳（メタデータ） (2024-03-07T01:50:36Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Implicit Model Specialization through DAG-based Decentralized Federated Learning [0.0]
  フェデレートされた学習により、分散クライアントのグループは、プライベートデータ上で共通の機械学習モデルをトレーニングできる。 連合学習における分散化とパーソナライズへの統一的なアプローチを提案する。 評価の結果,モデル更新のDAGに基づく通信から直接,モデルの特殊化が現れることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T20:55:47Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。