論文の概要: Cross-Fusion Rule for Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2302.02531v1
• Date: Mon, 6 Feb 2023 02:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-07 17:51:21.863958
• Title: Cross-Fusion Rule for Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習のためのクロスフュージョンルール
• Authors: Wangzhuo Yang, Bo Chen, Yijun Shen, Jiong Liu, Li Yu
• Abstract要約: データ不足と不均一性は、パーソナライズされたフェデレーション学習に重大なパフォーマンス上の課題をもたらす。 本稿では,これらの課題を克服するための多層マルチフュージョン戦略フレームワークを提案する。 提案手法は最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 9.266591573219856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data scarcity and heterogeneity pose significant performance challenges for personalized federated learning, and these challenges are mainly reflected in overfitting and low precision in existing methods. To overcome these challenges, a multi-layer multi-fusion strategy framework is proposed in this paper, i.e., the server adopts the network layer parameters of each client upload model as the basic unit of fusion for information-sharing calculation. Then, a new fusion strategy combining personalized and generic is purposefully proposed, and the network layer number fusion threshold of each fusion strategy is designed according to the network layer function. Under this mechanism, the L2-Norm negative exponential similarity metric is employed to calculate the fusion weights of the corresponding feature extraction layer parameters for each client, thus improving the efficiency of heterogeneous data personalized collaboration. Meanwhile, the federated global optimal model approximation fusion strategy is adopted in the network full-connect layer, and this generic fusion strategy alleviates the overfitting introduced by forceful personalized. Finally, the experimental results show that the proposed method is superior to the state-of-the-art methods.
• Abstract（参考訳）: データの不足と多様性は、個人化された連合学習において重要なパフォーマンス上の課題をもたらし、これらの課題は、主に既存の方法における過剰フィッティングと精度の低下に反映される。 これらの課題を克服するために,マルチレイヤーマルチフュージョン戦略フレームワークが提案されている。すなわち,サーバは情報共有計算のための融合の基本単位として,各クライアントアップロードモデルのネットワーク層パラメータを採用する。 そして、パーソナライズとジェネリックを組み合わせた新しい融合戦略を意図的に提案し、ネットワーク層機能に応じて各融合戦略のネットワーク層数融合しきい値を設計する。 このメカニズムでは、l2-ノルム負指数的類似度メトリックを用いて、クライアント毎に対応する特徴抽出層パラメータの融合重みを算出し、ヘテロジニアスデータパーソナライズドコラボレーションの効率を向上させる。 一方、ネットワーク全接続層では、フェデレートされたグローバル最適モデル近似融合戦略が採用され、この汎用融合戦略により、強制パーソナライズされたオーバーフィッティングが軽減される。 その結果,提案手法は最先端手法よりも優れていることがわかった。

関連論文リスト

• pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup [18.409463838775558]
  pMixFedは、グローバルモデルの共有とパーソナライズされたローカルモデルの混在を統合する、動的でレイヤワイズなPFLアプローチである。 提案手法では,パーソナライズされた層と共有された層を分割する適応的戦略,局所的なクライアント適応を強化するためのパーソナライズ度を段階的に変化させる戦略,クライアント間の一般化の改善,破滅的な忘れを緩和するための新たな集約機構を導入している。
  論文  参考訳（メタデータ） (2025-01-19T10:15:36Z)
• Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation [7.757018983487103]
  本稿では,早期融合戦略と,効率的なRGB-Tセマンティックセマンティックセマンティックセマンティクスのトレーニングのための簡易かつ効果的な特徴クラスタリングに基づく,新しいマルチモーダル融合ネットワーク(EFNet)を提案する。 提案手法の有効性を異なるデータセットで検証し,より低いパラメータと計算量で従来の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-19T06:16:45Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation [5.3125752371246575]
  クライアントの不均一性をサポートするための新しいフェデレーション学習フレームワークであるHypeMeFedを提案する。 このアプローチは、ヘテロジニアスモデル層の特徴空間を整列し、重み付け時の層間情報格差を解消する。 実世界の異種デバイステストベッドを用いた評価では、システムはFedAvgよりも5.12%精度を向上し、ハイパーネットワークメモリの要求を98.22%削減し、単純なハイパーネットワークアプローチに比べて1.86倍高速化する。
  論文  参考訳（メタデータ） (2024-07-03T13:15:12Z)
• GFN: A graph feedforward network for resolution-invariant reduced operator learning in multifidelity applications [0.0]
  本研究は,多忠実度アプリケーションのための新しい分解能不変モデルオーダー削減戦略を提案する。 我々はこの研究で開発された新しいニューラルネットワーク層、グラフフィードフォワードネットワークに基づいてアーキテクチャを構築した。 パラメトリックな偏微分方程式に対する自己エンコーダに基づく還元戦略において,異なるメッシュサイズでのトレーニングとテストの能力を利用する。
  論文  参考訳（メタデータ） (2024-06-05T18:31:37Z)
• FusionBench: A Comprehensive Benchmark of Deep Model Fusion [78.80920533793595]
  ディープモデル融合(Deep Model fusion)とは、複数のディープニューラルネットワークの予測やパラメータを単一のモデルに統合する手法である。 FusionBenchは、ディープモデル融合に特化した最初の包括的なベンチマークである。
  論文  参考訳（メタデータ） (2024-06-05T13:54:28Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
  Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
  論文  参考訳（メタデータ） (2023-09-27T13:48:12Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Communication-Efficient Federated Learning with Compensated Overlap-FedAvg [22.636184975591004]
  フェデレーションラーニングは、クラスタ内でデータセットを共有することなく、複数のクライアントの複合データによるモデルトレーニングを実行するために提案される。 Overlap-FedAvgはモデルアップロードおよびダウンロードフェーズとモデルトレーニングフェーズを並列化するフレームワークである。 オーバーラップfedavgはさらに階層的計算戦略、データ補償機構、ネステロフ加速勾配(nag)アルゴリズムを用いて開発されている。
  論文  参考訳（メタデータ） (2020-12-12T02:50:09Z)
• Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
  異種データセットから学習した後続分布を融合する手法を提案する。 我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
  論文  参考訳（メタデータ） (2020-07-13T03:27:45Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。