論文の概要: Personalized Federated Learning using Hypernetworks

• arxiv url: http://arxiv.org/abs/2103.04628v1
• Date: Mon, 8 Mar 2021 09:29:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 19:06:27.332753
• Title: Personalized Federated Learning using Hypernetworks
• Title（参考訳）: Hypernetworks を用いた個人化フェデレーション学習
• Authors: Aviv Shamsian, Aviv Navon, Ethan Fetaya, Gal Chechik
• Abstract要約: パーソナライズされたFederated HyperNetworksのためのpFedHNを提案する。 このアプローチでは、中央のハイパーネットワークモデルをトレーニングして、各クライアントの1つのモデルであるモデルのセットを生成する。 pfedhnは,トレーニング中に観察した任意のクライアントと分布が異なる新しいクライアントに対して,より一般化できることを示す。
• 参考スコア（独自算出の注目度）: 26.329820911200546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized federated learning is tasked with training machine learning models for multiple clients, each with its own data distribution. The goal is to train personalized models in a collaborative way while accounting for data disparities across clients and reducing communication costs. We propose a novel approach to this problem using hypernetworks, termed pFedHN for personalized Federated HyperNetworks. In this approach, a central hypernetwork model is trained to generate a set of models, one model for each client. This architecture provides effective parameter sharing across clients, while maintaining the capacity to generate unique and diverse personal models. Furthermore, since hypernetwork parameters are never transmitted, this approach decouples the communication cost from the trainable model size. We test pFedHN empirically in several personalized federated learning challenges and find that it outperforms previous methods. Finally, since hypernetworks share information across clients we show that pFedHN can generalize better to new clients whose distributions differ from any client observed during training.
• Abstract（参考訳）: パーソナライズされたフェデレーション学習は、複数のクライアントのための機械学習モデルをトレーニングし、それぞれ独自のデータ配布を行う。 目標は、顧客間のデータ格差を会計し、通信コストを削減しながら、パーソナライズされたモデルを共同でトレーニングすることです。 pfedhn と呼ぶハイパーネットワークを用いて,この問題に対する新しいアプローチを提案する。 このアプローチでは、中央のハイパーネットワークモデルをトレーニングして、各クライアントの1つのモデルであるモデルのセットを生成する。 このアーキテクチャは、ユニークで多様な個人モデルを生成する能力を維持しながら、クライアント間で効果的なパラメータ共有を提供する。 さらに、ハイパーネットワークパラメータは送信されないため、このアプローチはトレーニング可能なモデルサイズから通信コストを分離する。 pFedHNをいくつかの個人化学習課題において実証的にテストし,従来の手法よりも優れていることを確認した。 最後に、ハイパーネットワークはクライアント間で情報を共有しているため、pFedHNはトレーニング中に観察されたクライアントと分布が異なる新しいクライアントに対してよりよく一般化できることを示しています。

関連論文リスト

• Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
  本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。 まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。 グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
  論文  参考訳（メタデータ） (2024-11-09T02:41:53Z)
• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• FAM: fast adaptive federated meta-learning [10.980548731600116]
  単一グローバルモデルの協調学習のための高速適応型メタラーニング(FAM)フレームワークを提案する。 スケルトンネットワークは各クライアントで成長し、ローカルデータから追加のクライアント固有のパラメータを学習することでパーソナライズされたモデルをトレーニングする。 パーソナライズされたクライアントモデルは、ローカルにトレーニングされたモデルよりも優れ、FAMメカニズムの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-26T22:54:45Z)
• PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
  PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
  論文  参考訳（メタデータ） (2023-06-08T19:12:42Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks [46.17495529441229]
  フェデレーション学習(Federated Learning)は、AI依存のIoTアプリケーションをデプロイするために使用できる分散機械学習手法である。 本稿では,協調学習とGANに基づく連合学習手法を提案する。 提案手法は,クライアントのモデルアーキテクチャとデータ分布が大きく異なる場合,既存手法の精度を平均42%向上させる。
  論文  参考訳（メタデータ） (2022-02-18T12:08:46Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
  クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
  論文  参考訳（メタデータ） (2021-05-02T22:10:46Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。