論文の概要: Federated Two Stage Decoupling With Adaptive Personalization Layers
- arxiv url: http://arxiv.org/abs/2308.15821v2
- Date: Sun, 31 Dec 2023 01:53:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 01:44:48.488429
- Title: Federated Two Stage Decoupling With Adaptive Personalization Layers
- Title（参考訳）: 適応型パーソナライズレイヤーを用いた2段階デカップリング
- Authors: Hangyu Zhu, Yuxiang Fan, Zhenping Xie
- Abstract要約: フェデレーション学習は、プライバシ制約を維持しながら分散学習を可能にする能力によって、大きな注目を集めている。
本質的には、学習の劣化と収束速度の低下を経験する。
等質なクライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
- 参考スコア（独自算出の注目度）: 5.69361786082969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning has gained significant attention due to its groundbreaking
ability to enable distributed learning while maintaining privacy constraints.
However, as a consequence of data heterogeneity among decentralized devices, it
inherently experiences significant learning degradation and slow convergence
speed. Therefore, it is natural to employ the concept of clustering homogeneous
clients into the same group, allowing only the model weights within each group
to be aggregated. While most existing clustered federated learning methods
employ either model gradients or inference outputs as metrics for client
partitioning, with the goal of grouping similar devices together, may still
have heterogeneity within each cluster. Moreover, there is a scarcity of
research exploring the underlying reasons for determining the appropriate
timing for clustering, resulting in the common practice of assigning each
client to its own individual cluster, particularly in the context of highly non
independent and identically distributed (Non-IID) data. In this paper, we
introduce a two-stage decoupling federated learning algorithm with adaptive
personalization layers named FedTSDP, where client clustering is performed
twice according to inference outputs and model weights, respectively. Hopkins
amended sampling is adopted to determine the appropriate timing for clustering
and the sampling weight of public unlabeled data. In addition, a simple yet
effective approach is developed to adaptively adjust the personalization layers
based on varying degrees of data skew. Experimental results show that our
proposed method has reliable performance on both IID and non-IID scenarios.
- Abstract（参考訳）: フェデレーテッド・ラーニングは、プライバシーの制約を維持しながら分散学習を可能にするという画期的な能力によって大きな注目を集めている。
しかし、分散デバイス間のデータ不均一性の結果、本質的には学習劣化と収束速度の低下を経験する。
したがって、同種クライアントを同じ群にクラスタリングするという概念を採用することは自然であり、各群内のモデル重みのみを集約することができる。
既存のクラスタ型フェデレーション学習手法のほとんどは、モデル勾配や推論出力をクライアント分割のメトリクスとして採用しているが、同様のデバイスをグループ化することを目的としているため、各クラスタ内にも異種性がある可能性がある。
さらに、クラスタリングの適切なタイミングを決定するための基礎となる理由を探求する研究は少なく、特に非独立で同一に分散した(Non-IID)データのコンテキストにおいて、各クライアントを個別のクラスタに割り当てる一般的な実践となっている。
本稿では,FedTSDPという適応型パーソナライズ層を持つ2段階のデカップリングフェデレーション学習アルゴリズムを提案する。
ホプキンス修正サンプリングは、公開ラベルなしデータのクラスタリングの適切なタイミングとサンプリング重みを決定するために採用されている。
また,多様なデータスキューに基づいてパーソナライズ層を適応的に調整する,単純かつ効果的な手法を開発した。
実験の結果,提案手法はIIDと非IIDの両方のシナリオで信頼性の高い性能を示すことがわかった。
関連論文リスト
- FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity [43.71967577443732]
フェデレートラーニング(FL)は、エッジクライアントと中央サーバとのコラボレーションを通じて、プライバシ保護のニューラルネットワークトレーニングパラダイムを促進する。
最近の研究は、単に正規化の形式として平均的な信号を使い、これらの非IID課題の1つの側面にのみ焦点をあてることに限られている。
マルチクラスタ機能を持つコントラストベースのFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-14T13:56:30Z) - Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。
本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
論文 参考訳（メタデータ） (2023-09-04T10:47:52Z) - Reinforcement Federated Learning Method Based on Adaptive OPTICS
Clustering [19.73560248813166]
本稿では,フェデレート学習のための適応型OPTICSクラスタリングアルゴリズムを提案する。
クラスタリング環境をMarkov決定プロセスとして認識することで、OPTICSクラスタの最良のパラメータを見つけることがゴールです。
本手法の信頼性と実用性は, 実験データから検証され, 有効性と優越性が確認された。
論文 参考訳（メタデータ） (2023-06-22T13:11:19Z) - FedPNN: One-shot Federated Classification via Evolving Clustering Method
and Probabilistic Neural Network hybrid [4.241208172557663]
本稿では,プライバシ保護を指向した2段階のフェデレーション学習手法を提案する。
第1段階では、2つの異なる分布をノイズとして利用して合成データセットを生成する。
第2段階では,FedPNN(Federated Probabilistic Neural Network)が開発され,グローバルに共有する分類モデルの構築に利用されている。
論文 参考訳（メタデータ） (2023-04-09T03:23:37Z) - CADIS: Handling Cluster-skewed Non-IID Data in Federated Learning with
Clustered Aggregation and Knowledge DIStilled Regularization [3.3711670942444014]
フェデレーション学習は、エッジデバイスがデータを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
我々は、実際のデータセットで発見されたクラスタスキュード非IIDと呼ばれる新しいタイプの非IIDデータに取り組む。
本稿では,クラスタ間の平等を保証するアグリゲーション方式を提案する。
論文 参考訳（メタデータ） (2023-02-21T02:53:37Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。