論文の概要: Cross-Fusion Rule for Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2302.02531v1
• Date: Mon, 6 Feb 2023 02:05:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 17:51:21.863958
• Title: Cross-Fusion Rule for Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習のためのクロスフュージョンルール
• Authors: Wangzhuo Yang, Bo Chen, Yijun Shen, Jiong Liu, Li Yu
• Abstract要約: データ不足と不均一性は、パーソナライズされたフェデレーション学習に重大なパフォーマンス上の課題をもたらす。 本稿では,これらの課題を克服するための多層マルチフュージョン戦略フレームワークを提案する。 提案手法は最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 9.266591573219856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data scarcity and heterogeneity pose significant performance challenges for personalized federated learning, and these challenges are mainly reflected in overfitting and low precision in existing methods. To overcome these challenges, a multi-layer multi-fusion strategy framework is proposed in this paper, i.e., the server adopts the network layer parameters of each client upload model as the basic unit of fusion for information-sharing calculation. Then, a new fusion strategy combining personalized and generic is purposefully proposed, and the network layer number fusion threshold of each fusion strategy is designed according to the network layer function. Under this mechanism, the L2-Norm negative exponential similarity metric is employed to calculate the fusion weights of the corresponding feature extraction layer parameters for each client, thus improving the efficiency of heterogeneous data personalized collaboration. Meanwhile, the federated global optimal model approximation fusion strategy is adopted in the network full-connect layer, and this generic fusion strategy alleviates the overfitting introduced by forceful personalized. Finally, the experimental results show that the proposed method is superior to the state-of-the-art methods.
• Abstract（参考訳）: データの不足と多様性は、個人化された連合学習において重要なパフォーマンス上の課題をもたらし、これらの課題は、主に既存の方法における過剰フィッティングと精度の低下に反映される。 これらの課題を克服するために,マルチレイヤーマルチフュージョン戦略フレームワークが提案されている。すなわち,サーバは情報共有計算のための融合の基本単位として,各クライアントアップロードモデルのネットワーク層パラメータを採用する。 そして、パーソナライズとジェネリックを組み合わせた新しい融合戦略を意図的に提案し、ネットワーク層機能に応じて各融合戦略のネットワーク層数融合しきい値を設計する。 このメカニズムでは、l2-ノルム負指数的類似度メトリックを用いて、クライアント毎に対応する特徴抽出層パラメータの融合重みを算出し、ヘテロジニアスデータパーソナライズドコラボレーションの効率を向上させる。 一方、ネットワーク全接続層では、フェデレートされたグローバル最適モデル近似融合戦略が採用され、この汎用融合戦略により、強制パーソナライズされたオーバーフィッティングが軽減される。 その結果,提案手法は最先端手法よりも優れていることがわかった。

関連論文リスト

• pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup [18.409463838775558]
  pMixFedは、グローバルモデルの共有とパーソナライズされたローカルモデルの混在を統合する、動的でレイヤワイズなPFLアプローチである。 提案手法では,パーソナライズされた層と共有された層を分割する適応的戦略,局所的なクライアント適応を強化するためのパーソナライズ度を段階的に変化させる戦略,クライアント間の一般化の改善,破滅的な忘れを緩和するための新たな集約機構を導入している。
  論文  参考訳（メタデータ） (2025-01-19T10:15:36Z)
• Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation [7.757018983487103]
  本稿では,早期融合戦略と,効率的なRGB-Tセマンティックセマンティックセマンティックセマンティクスのトレーニングのための簡易かつ効果的な特徴クラスタリングに基づく,新しいマルチモーダル融合ネットワーク(EFNet)を提案する。 提案手法の有効性を異なるデータセットで検証し,より低いパラメータと計算量で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-19T06:16:45Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation [5.3125752371246575]
  クライアントの不均一性をサポートするための新しいフェデレーション学習フレームワークであるHypeMeFedを提案する。 このアプローチは、ヘテロジニアスモデル層の特徴空間を整列し、重み付け時の層間情報格差を解消する。 実世界の異種デバイステストベッドを用いた評価では、システムはFedAvgよりも5.12%精度を向上し、ハイパーネットワークメモリの要求を98.22%削減し、単純なハイパーネットワークアプローチに比べて1.86倍高速化する。
  論文  参考訳（メタデータ） (2024-07-03T13:15:12Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。