論文の概要: FedAPM: Federated Learning via ADMM with Partial Model Personalization

• arxiv url: http://arxiv.org/abs/2506.04672v1
• Date: Thu, 05 Jun 2025 06:38:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.564364
• Title: FedAPM: Federated Learning via ADMM with Partial Model Personalization
• Title（参考訳）: FedAPM: 部分モデルパーソナライズによるADMMによるフェデレーション学習
• Authors: Shengkun Zhu, Feiteng Nie, Jinshan Zeng, Sheng Wang, Yuan Sun, Yuan Yao, Shangfeng Chen, Quanqing Xu, Chuanhui Yang,
• Abstract要約: FL(Federated Learning)では、異なるデバイスからのデータセットが独立であり、同じ分散(すなわち、同じ分散)であるという仮定は、ユーザ差によって保持されないことが多い。 本稿では、FedAPMと呼ばれる乗算器の交互方向法(ADMM)に基づくFLフレームワークを提案し、クライアントのドリフトを緩和する。
• 参考スコア（独自算出の注目度）: 12.72555825043549
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In federated learning (FL), the assumption that datasets from different devices are independent and identically distributed (i.i.d.) often does not hold due to user differences, and the presence of various data modalities across clients makes using a single model impractical. Personalizing certain parts of the model can effectively address these issues by allowing those parts to differ across clients, while the remaining parts serve as a shared model. However, we found that partial model personalization may exacerbate client drift (each client's local model diverges from the shared model), thereby reducing the effectiveness and efficiency of FL algorithms. We propose an FL framework based on the alternating direction method of multipliers (ADMM), referred to as FedAPM, to mitigate client drift. We construct the augmented Lagrangian function by incorporating first-order and second-order proximal terms into the objective, with the second-order term providing fixed correction and the first-order term offering compensatory correction between the local and shared models. Our analysis demonstrates that FedAPM, by using explicit estimates of the Lagrange multiplier, is more stable and efficient in terms of convergence compared to other FL frameworks. We establish the global convergence of FedAPM training from arbitrary initial points to a stationary point, achieving three types of rates: constant, linear, and sublinear, under mild assumptions. We conduct experiments using four heterogeneous and multimodal datasets with different metrics to validate the performance of FedAPM. Specifically, FedAPM achieves faster and more accurate convergence, outperforming the SOTA methods with average improvements of 12.3% in test accuracy, 16.4% in F1 score, and 18.0% in AUC while requiring fewer communication rounds.
• Abstract（参考訳）: FL(Federated Learning)では、異なるデバイスからのデータセットが独立して同一に分散されているという仮定は、ユーザ差によって保持されないことが多く、クライアント間で様々なデータモダリティが存在するため、単一のモデルでは実用的ではない。 モデルの特定の部分をパーソナライズすることは、これらの部分をクライアント間で異なるものにすることで、これらの問題に効果的に対処することができる。 しかし、部分モデルパーソナライズによりクライアントのドリフトが悪化し(各クライアントのローカルモデルが共有モデルから分岐する)、FLアルゴリズムの有効性と効率が低下することが判明した。 本稿では、FedAPMと呼ばれる乗算器の交互方向法(ADMM)に基づくFLフレームワークを提案し、クライアントのドリフトを緩和する。 本研究では,1次・2次近位項を目的語に組み込んで拡張ラグランジアン関数を構築し,2次項を固定補正とし,1次項を局所モデルと共有モデルの間で補償補正する。 解析により、FedAPMはラグランジュ乗算器の明示的な推定値を用いて、他のFLフレームワークと比較して収束の点においてより安定で効率的であることが示されている。 我々は、任意の初期点から定常点へのFedAPMトレーニングのグローバル収束を確立し、穏やかな仮定の下で、定数、線形、サブ線形の3種類のレートを達成する。 我々は,FedAPMの性能を評価するために,異なるメトリクスを持つ4つの異種およびマルチモーダルデータセットを用いて実験を行った。 具体的には、FedAPMはより高速で正確な収束を実現し、テスト精度が平均12.3%向上し、F1スコアが16.4%、AUCが18.0%向上し、通信ラウンドが少なくなった。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Parametric Feature Transfer: One-shot Federated Learning with Foundation Models [14.97955440815159]
  ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。 本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
  論文  参考訳（メタデータ） (2024-02-02T19:34:46Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
  我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。 FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。 最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-18T05:58:24Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FedCross: Towards Accurate Federated Learning via Multi-Model Cross-Aggregation [16.019513233021435]
  フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、データサイロ問題に対処するために注目を集めている。 我々はFedCrossという名前の効率的なFLフレームワークを提案する。このフレームワークは、提案したマルチモデルクロスアグリゲーションアプローチに基づいた、新しいマルチツーマルチFLトレーニングスキームを使用する。 We show that FedCross can significantly improve FL accuracy in both IID and non-IID scenarios without causing additional communication overhead。
  論文  参考訳（メタデータ） (2022-10-15T13:12:11Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation [12.62716075696359]
  フェデレートラーニング(FL)では、多くのクライアントやデバイスが協力して、データを共有せずにモデルをトレーニングします。 このドリフトを推定・除去するために、近年FL最適化に分散低減技術が組み込まれている。 本稿では,クライアント間のドリフトを正確に推定する適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-27T20:04:24Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。