論文の概要: PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning

• arxiv url: http://arxiv.org/abs/2310.09183v2
• Date: Fri, 10 Nov 2023 09:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 17:23:43.621686
• Title: PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning
• Title（参考訳）: pre: フェデレーション学習で見過ごされる情報をリアクションするためにパーソナライズされた事前
• Authors: Mingjia Shi, Yuhao Zhou, Kai Wang, Huaizheng Zhang, Shudong Huang, Qing Ye, Jiangcheng Lv
• Abstract要約: 各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。 提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。 提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
• 参考スコア（独自算出の注目度）: 16.344719695572586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical federated learning (FL) enables training machine learning models without sharing data for privacy preservation, but heterogeneous data characteristic degrades the performance of the localized model. Personalized FL (PFL) addresses this by synthesizing personalized models from a global model via training on local data. Such a global model may overlook the specific information that the clients have been sampled. In this paper, we propose a novel scheme to inject personalized prior knowledge into the global model in each client, which attempts to mitigate the introduced incomplete information problem in PFL. At the heart of our proposed approach is a framework, the PFL with Bregman Divergence (pFedBreD), decoupling the personalized prior from the local objective function regularized by Bregman divergence for greater adaptability in personalized scenarios. We also relax the mirror descent (RMD) to extract the prior explicitly to provide optional strategies. Additionally, our pFedBreD is backed up by a convergence analysis. Sufficient experiments demonstrate that our method reaches the state-of-the-art performances on 5 datasets and outperforms other methods by up to 3.5% across 8 benchmarks. Extensive analyses verify the robustness and necessity of proposed designs.
• Abstract（参考訳）: 古典的なフェデレーション学習(fl)は、プライバシ保護のためのデータを共有することなく、機械学習モデルのトレーニングを可能にするが、異種データ特性は、ローカライズモデルのパフォーマンスを低下させる。 パーソナライズドfl(pfl)は、ローカルデータのトレーニングを通じてグローバルモデルからパーソナライズされたモデルを合成することで、これに対処する。 このようなグローバルモデルは、クライアントがサンプリングした特定の情報を見落としてしまう可能性がある。 本稿では,PFLにおける不完全情報問題を軽減するために,各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する手法を提案する。 提案手法の中心となるフレームワークは,Bregman Divergence (pFedBreD) を用いた PFL であり,Bregman divergence によって正規化された局所目的関数からパーソナライズされた事前を分離し,パーソナライズされたシナリオにおける適応性を高める。 また,鏡面降下 (RMD) を緩和し,予め明示的に抽出し,任意の戦略を提供する。 さらに、pFedBreDは収束解析によってバックアップされる。 十分な実験により、我々の手法は5つのデータセット上で最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%の精度で他の手法を上回ります。 広範な分析により,提案する設計の堅牢性と必要性が検証された。

関連論文リスト

• Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
  フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。 適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。 広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-19T11:32:39Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning [9.950367271170592]
  視覚変換器モデル(ViT)のパーソナライズ方法について検討する。 自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。 CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
  論文  参考訳（メタデータ） (2023-08-17T19:22:30Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
  本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。 実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-19T12:45:19Z)
• New Metrics to Evaluate the Performance and Fairness of Personalized Federated Learning [5.500172106704342]
  フェデレートラーニング(FL)では、クライアントは中央アグリゲータを通じて単一のグローバルモデル(FedAvg)を学ぶ。 この設定では、クライアント間でのデータの非IID分布は、グローバルFLモデルが各クライアントのローカルデータに良いパフォーマンスを提供することを制限する。 パーソナライズされたFLは、各クライアントのパーソナライズされたモデルを見つけることで、この問題に対処することを目指している。
  論文  参考訳（メタデータ） (2021-07-28T05:30:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。