論文の概要: Cross-Fusion Rule for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2302.02531v1
- Date: Mon, 6 Feb 2023 02:05:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-07 17:51:21.863958
- Title: Cross-Fusion Rule for Personalized Federated Learning
- Title(参考訳): 個人化フェデレーション学習のためのクロスフュージョンルール
- Authors: Wangzhuo Yang, Bo Chen, Yijun Shen, Jiong Liu, Li Yu
- Abstract要約: データ不足と不均一性は、パーソナライズされたフェデレーション学習に重大なパフォーマンス上の課題をもたらす。
本稿では,これらの課題を克服するための多層マルチフュージョン戦略フレームワークを提案する。
提案手法は最先端の手法よりも優れている。
- 参考スコア(独自算出の注目度): 9.266591573219856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data scarcity and heterogeneity pose significant performance challenges for
personalized federated learning, and these challenges are mainly reflected in
overfitting and low precision in existing methods. To overcome these
challenges, a multi-layer multi-fusion strategy framework is proposed in this
paper, i.e., the server adopts the network layer parameters of each client
upload model as the basic unit of fusion for information-sharing calculation.
Then, a new fusion strategy combining personalized and generic is purposefully
proposed, and the network layer number fusion threshold of each fusion strategy
is designed according to the network layer function. Under this mechanism, the
L2-Norm negative exponential similarity metric is employed to calculate the
fusion weights of the corresponding feature extraction layer parameters for
each client, thus improving the efficiency of heterogeneous data personalized
collaboration. Meanwhile, the federated global optimal model approximation
fusion strategy is adopted in the network full-connect layer, and this generic
fusion strategy alleviates the overfitting introduced by forceful personalized.
Finally, the experimental results show that the proposed method is superior to
the state-of-the-art methods.
- Abstract(参考訳): データの不足と多様性は、個人化された連合学習において重要なパフォーマンス上の課題をもたらし、これらの課題は、主に既存の方法における過剰フィッティングと精度の低下に反映される。
これらの課題を克服するために,マルチレイヤーマルチフュージョン戦略フレームワークが提案されている。すなわち,サーバは情報共有計算のための融合の基本単位として,各クライアントアップロードモデルのネットワーク層パラメータを採用する。
そして、パーソナライズとジェネリックを組み合わせた新しい融合戦略を意図的に提案し、ネットワーク層機能に応じて各融合戦略のネットワーク層数融合しきい値を設計する。
このメカニズムでは、l2-ノルム負指数的類似度メトリックを用いて、クライアント毎に対応する特徴抽出層パラメータの融合重みを算出し、ヘテロジニアスデータパーソナライズドコラボレーションの効率を向上させる。
一方、ネットワーク全接続層では、フェデレートされたグローバル最適モデル近似融合戦略が採用され、この汎用融合戦略により、強制パーソナライズされたオーバーフィッティングが軽減される。
その結果,提案手法は最先端手法よりも優れていることがわかった。
関連論文リスト
- Towards Optimal Customized Architecture for Heterogeneous Federated
Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。
我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。
私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
論文 参考訳(メタデータ) (2024-03-04T05:10:28Z) - Federated Natural Policy Gradient Methods for Multi-task Reinforcement
Learning [49.65958529941962]
フェデレート強化学習(RL)は、ローカルデータトラジェクトリを共有することなく、複数の分散エージェントの協調的な意思決定を可能にする。
本研究では,各エージェントがそれぞれのタスクに対応する個別の報酬関数を持つマルチタスク設定について考察する。
我々は、分散された方法で全てのエージェントの割引された全報酬の総和を最大化する、世界的な最適政策を学習する。
論文 参考訳(メタデータ) (2023-11-01T00:15:18Z) - Federated Deep Equilibrium Learning: A Compact Shared Representation for
Edge Communication Efficiency [12.440580969360218]
Federated Learning(FL)は、エッジネットワーク内のノード間のコラボレーションを容易にする分散学習パラダイムである。
深層平衡学習とコンセンサス最適化を効果的に活用する先駆的なFLフレームワークであるFeDEQを紹介する。
本稿では,乗算器コンセンサス最適化(ADMM)の交互方向法に根ざした分散アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-27T13:48:12Z) - Layer-wise Linear Mode Connectivity [56.53308504862033]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識を融合させる直感的な方法である。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳(メタデータ) (2023-07-13T09:39:10Z) - Reinforcement Federated Learning Method Based on Adaptive OPTICS
Clustering [19.73560248813166]
本稿では,フェデレート学習のための適応型OPTICSクラスタリングアルゴリズムを提案する。
クラスタリング環境をMarkov決定プロセスとして認識することで、OPTICSクラスタの最良のパラメータを見つけることがゴールです。
本手法の信頼性と実用性は, 実験データから検証され, 有効性と優越性が確認された。
論文 参考訳(メタデータ) (2023-06-22T13:11:19Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Energy-Efficient and Federated Meta-Learning via Projected Stochastic
Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。
各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文 参考訳(メタデータ) (2021-05-31T08:15:44Z) - Communication-Efficient Federated Learning with Compensated
Overlap-FedAvg [22.636184975591004]
フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。
Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。
オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
論文 参考訳(メタデータ) (2020-12-12T02:50:09Z) - A Theoretical Perspective on Differentially Private Federated Multi-task
Learning [12.935153199667987]
プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。
本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。
このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
論文 参考訳(メタデータ) (2020-11-14T00:53:16Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳(メタデータ) (2020-07-13T03:27:45Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。