論文の概要: Personalized Federated Learning via Heterogeneous Modular Networks

• arxiv url: http://arxiv.org/abs/2210.14830v1
• Date: Wed, 26 Oct 2022 16:22:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 15:25:27.088561
• Title: Personalized Federated Learning via Heterogeneous Modular Networks
• Title（参考訳）: 不均一モジュールネットワークによる個人化フェデレーション学習
• Authors: Tianchun Wan, Wei Cheng, Dongsheng Luo, Wenchao Yu, Jingchao Ni, Liang Tong, Haifeng Chen, Xiang Zhang
• Abstract要約: Federated Modular Network (FedMN)はモジュールプールからサブモジュールを適応的に選択し、異なるクライアントに対して異種ニューラルネットワークを組み立てる新しいPFLアプローチである。 FedMNは軽量なルーティングハイパーネットワークを採用して、各クライアントのジョイントディストリビューションをモデル化し、各クライアント用のモジュールブロックのパーソナライズされた選択を生成する。 本研究は,実世界のテストベッドにおける広範囲な実験を行い,提案したFedMNの有効性と有効性を示した。
• 参考スコア（独自算出の注目度）: 42.42436277501029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized Federated Learning (PFL) which collaboratively trains a federated model while considering local clients under privacy constraints has attracted much attention. Despite its popularity, it has been observed that existing PFL approaches result in sub-optimal solutions when the joint distribution among local clients diverges. To address this issue, we present Federated Modular Network (FedMN), a novel PFL approach that adaptively selects sub-modules from a module pool to assemble heterogeneous neural architectures for different clients. FedMN adopts a light-weighted routing hypernetwork to model the joint distribution on each client and produce the personalized selection of the module blocks for each client. To reduce the communication burden in existing FL, we develop an efficient way to interact between the clients and the server. We conduct extensive experiments on the real-world test beds and the results show both the effectiveness and efficiency of the proposed FedMN over the baselines.
• Abstract（参考訳）: ローカルクライアントをプライバシーの制約下で考慮しながら連携モデルを協調的にトレーニングするパーソナライズドフェデレーションフェデレーション学習(pfl)が注目を集めている。 その人気にもかかわらず、既存のPFLアプローチは、ローカルクライアント間の共同分布が分岐するときに、サブ最適解をもたらすことが観察されている。 この問題に対処するために,モジュールプールからサブモジュールを適応的に選択し,異なるクライアントのためのヘテロジニアス・ニューラル・アーキテクチャを組み立てる新しいpflアプローチであるfederated modular network (fedmn)を提案する。 fedmnは軽量のルーティングハイパーネットワークを採用し、各クライアントのジョイント分布をモデル化し、各クライアント用のモジュールブロックのパーソナライズされた選択を生成する。 既存のFLにおける通信負担を軽減するため,クライアントとサーバ間の通信を効率的に行う方法を開発した。 本研究は実世界のテストベッドについて広範囲に実験を行い,提案したFedMNの有効性と有効性を示した。

関連論文リスト

• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• Communication-Efficient Multimodal Federated Learning: Joint Modality and Client Selection [14.261582708240407]
  FL(Multimodal Federated Learning)は、FL設定におけるモデルトレーニングを強化することを目的としている。 マルチモーダルFLの鍵となる課題は、特に異種ネットワーク設定において、未適応のままである。 マルチモーダル設定における上記の課題に対処できる新しいFL手法であるmmFedMCを提案する。
  論文  参考訳（メタデータ） (2024-01-30T02:16:19Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Group Personalized Federated Learning [15.09115201646396]
  フェデレートラーニング(FL)は、クライアントの物理デバイス上で分散的な方法で共有モデルをトレーニングすることで、データのプライバシを促進するのに役立つ。 本稿では,FLの応用に向けたグループパーソナライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-10-04T19:20:19Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• To Federate or Not To Federate: Incentivizing Client Participation in Federated Learning [22.3101738137465]
  フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。 本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-30T04:03:31Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。