論文の概要: A Novel Algorithm for Personalized Federated Learning: Knowledge Distillation with Weighted Combination Loss

• arxiv url: http://arxiv.org/abs/2504.04642v1
• Date: Sun, 06 Apr 2025 23:22:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:14:49.766031
• Title: A Novel Algorithm for Personalized Federated Learning: Knowledge Distillation with Weighted Combination Loss
• Title（参考訳）: 個人化フェデレーション学習のための新しいアルゴリズム:重み付けによる知識蒸留
• Authors: Hengrui Hu, Anai N. Kothari, Anjishnu Banerjee,
• Abstract要約: pFedKD-WCLは知識蒸留と二段階最適化を統合し、非IID課題に対処する。 我々は,MNISTデータセットと非IID合成データセットを用いたpFedKD-WCLを,多相ロジスティック回帰モデルと多層パーセプトロンモデルを用いて評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Federated learning (FL) offers a privacy-preserving framework for distributed machine learning, enabling collaborative model training across diverse clients without centralizing sensitive data. However, statistical heterogeneity, characterized by non-independent and identically distributed (non-IID) client data, poses significant challenges, leading to model drift and poor generalization. This paper proposes a novel algorithm, pFedKD-WCL (Personalized Federated Knowledge Distillation with Weighted Combination Loss), which integrates knowledge distillation with bi-level optimization to address non-IID challenges. pFedKD-WCL leverages the current global model as a teacher to guide local models, optimizing both global convergence and local personalization efficiently. We evaluate pFedKD-WCL on the MNIST dataset and a synthetic dataset with non-IID partitioning, using multinomial logistic regression and multilayer perceptron models. Experimental results demonstrate that pFedKD-WCL outperforms state-of-the-art algorithms, including FedAvg, FedProx, Per-FedAvg, and pFedMe, in terms of accuracy and convergence speed.
• Abstract（参考訳）: Federated Learning(FL)は、分散機械学習のためのプライバシ保護フレームワークを提供する。 しかし、非独立で同一に分散した(非IID)クライアントデータによって特徴づけられる統計的不均一性は、重要な課題を生じ、モデルドリフトと一般化の貧弱につながる。 本稿では,知識蒸留と二段階最適化を統合し,非IID課題に対処する新しいアルゴリズムpFedKD-WCLを提案する。 pFedKD-WCLは、現在のグローバルモデルを教師として活用し、ローカルモデルを指導し、グローバルコンバージェンスとローカルパーソナライズの両方を効率的に最適化する。 我々は,MNISTデータセットと非IIDパーティショニングを用いた合成データセットを用いたpFedKD-WCLを,多相ロジスティック回帰と多層パーセプトロンモデルを用いて評価した。 実験の結果,pFedKD-WCLはFedAvg,FedProx,Per-FedAvg,pFedMeといった最先端のアルゴリズムよりも精度と収束速度で優れていた。

関連論文リスト

• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization [23.340237814344377]
  Federated Learning(FL)は、クライアントがデータを交換することなくグローバルモデルを協調的にトレーニングできる、画期的な分散学習パラダイムとして登場した。 FeDEQは,高効率なパーソナライズのために,コンパクトなグローバルデータ表現を利用するために,深い平衡学習とコンセンサス最適化を取り入れた新しいFLフレームワークである。 FeDEQは,訓練中の通信サイズを最大4倍,メモリフットプリントを1.5倍に削減しつつ,最先端のパーソナライズされたFL法の性能に適合することを示した。
  論文  参考訳（メタデータ） (2023-09-27T13:48:12Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
  Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。 我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
  論文  参考訳（メタデータ） (2021-08-23T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。