論文の概要: pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization

• arxiv url: http://arxiv.org/abs/2506.07159v1
• Date: Sun, 08 Jun 2025 14:09:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.694695
• Title: pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization
• Title（参考訳）: pFedSOP : 2次最適化を用いた個人化フェデレーション学習の高速化
• Authors: Mrinmay Sen, Chalavadi Krishna Mohan,
• Abstract要約: pFedSOPはPFLの2次最適化を効率的に利用し、パーソナライズされたモデルのトレーニングを高速化する。 提案手法はまず,局所勾配と大域勾配の正規化角度を用いて,局所勾配のパーソナライズされた更新を計算する。 次に、このパーソナライズされた更新から計算された正規化されたFisher Information Matrix (FIM) を、パーソナライズされたモデル更新のためのHessianの近似として使用する。
• 参考スコア（独自算出の注目度）: 4.189643331553922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized Federated Learning (PFL) enables clients to collaboratively train personalized models tailored to their individual objectives, addressing the challenge of model generalization in traditional Federated Learning (FL) due to high data heterogeneity. However, existing PFL methods often require increased communication rounds to achieve the desired performance, primarily due to slow training caused by the use of first-order optimization, which has linear convergence. Additionally, many of these methods increase local computation because of the additional data fed into the model during the search for personalized local models. One promising solution to this slow training is second-order optimization, known for its quadratic convergence. However, employing it in PFL is challenging due to the Hessian matrix and its inverse. In this paper, we propose pFedSOP, which efficiently utilizes second-order optimization in PFL to accelerate the training of personalized models and enhance performance with fewer communication rounds. Our approach first computes a personalized local gradient update using the Gompertz function-based normalized angle between local and global gradient updates, incorporating client-specific global information. We then use a regularized Fisher Information Matrix (FIM), computed from this personalized gradient update, as an approximation of the Hessian to update the personalized models. This FIM-based second-order optimization speeds up training with fewer communication rounds by tackling the challenges with exact Hessian and avoids additional data being fed into the model during the search for personalized local models. Extensive experiments on heterogeneously partitioned image classification datasets with partial client participation demonstrate that pFedSOP outperforms state-of-the-art FL and PFL algorithms.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、クライアントが個々の目的に合わせてパーソナライズされたモデルを協調的にトレーニングすることを可能にし、データの不均一性による従来のフェデレーション・ラーニング(FL)におけるモデル一般化の課題に対処する。 しかし、既存のPFL法は、主に線形収束を持つ一階最適化の使用による遅い訓練のために、望まれる性能を達成するために、より多くの通信ラウンドを必要とすることが多い。 さらに、これらの手法の多くは、パーソナライズされたローカルモデルを探す際に、モデルに供給される追加データにより、局所的な計算量を増加させる。 この遅いトレーニングの有望な解決策の1つは2階最適化であり、その二次収束で知られている。 しかし、これを PFL に採用することはヘッセン行列とその逆数によって困難である。 本稿では,PFLにおける2次最適化を効果的に活用し,パーソナライズされたモデルのトレーニングを加速し,通信ラウンドを少なくして性能を向上させるpFedSOPを提案する。 提案手法はまず,Gompertz関数に基づく局所的勾配更新とグローバル的勾配更新の正規化角度を用いて,クライアント固有のグローバル情報を取り入れたパーソナライズされた局所勾配更新を計算する。 次に、このパーソナライズされた勾配更新から計算した正規化Fisher Information Matrix (FIM)を用いて、パーソナライズされたモデルの更新にHessianを近似する。 このFIMベースの2次最適化は、正確なHessianによる課題に対処することで、より少ない通信ラウンドでのトレーニングを高速化し、パーソナライズされたローカルモデルの検索中にモデルに入力される追加データを回避する。 pFedSOPが最先端FLおよびPFLアルゴリズムより優れていることを示す。

関連論文リスト

• FedAPA: Server-side Gradient-Based Adaptive Personalized Aggregation for Federated Learning on Heterogeneous Data [5.906966694759679]
  FedAPAは、パーソナライズされたモデルを生成するためのサーバサイドの勾配に基づく適応アダプティブアグリゲーション戦略を備えた、新しいPFL手法である。 FedAPAは理論収束を保証し、3つのデータセットにわたる10のPFL競合と比較して精度と計算効率が優れている。
  論文  参考訳（メタデータ） (2025-02-11T11:00:58Z)
• Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning [50.45027483522507]
  既存のパーソナライズド・フェデレーション・ラーニング(PFL)アプローチは、クライアントの最新モデルにのみ依存する。 FLの基盤モデルを微調整するアダプタをパーソナライズするために設計されたpFedSeqを提案する。 pFedSeqでは、サーバはシーケンシャルな学習者をメンテナンスし、訓練し、クライアントからの過去のアダプタ更新のシーケンスを処理する。 以前の更新に隠されたクロスクライアントとクロスステップの関係を効果的にキャプチャするために、pFedSeqは強力な選択状態空間モデルを採用している。
  論文  参考訳（メタデータ） (2025-01-03T06:10:09Z)
• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)
• Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
  フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。 FLに関連する課題の1つは、クライアント間の統計的多様性である。 封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T00:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。