論文の概要: PLayer-FL: A Principled Approach to Personalized Layer-wise Cross-Silo Federated Learning

• arxiv url: http://arxiv.org/abs/2502.08829v1
• Date: Wed, 12 Feb 2025 22:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:47:47.794813
• Title: PLayer-FL: A Principled Approach to Personalized Layer-wise Cross-Silo Federated Learning
• Title（参考訳）: PLayer-FL: 階層的クロスサイロ学習のための原則的アプローチ
• Authors: Ahmed Elhussein, Gamze Gürsoy,
• Abstract要約: 非ID分散データは、フェデレートラーニング(FL)における大きな課題である 本稿では、新しいフェデレーション感度指標を用いて、フェデレーションの恩恵を受けるレイヤを同定する原理的レイヤワイズFL(PLayer-FL)を提案する。 PLayer-FL は既存の FL アルゴリズムを様々なタスクで上回る性能を示し、クライアント間でより均一な性能向上を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Non-identically distributed data is a major challenge in Federated Learning (FL). Personalized FL tackles this by balancing local model adaptation with global model consistency. One variant, partial FL, leverages the observation that early layers learn more transferable features by federating only early layers. However, current partial FL approaches use predetermined, architecture-specific rules to select layers, limiting their applicability. We introduce Principled Layer-wise-FL (PLayer-FL), which uses a novel federation sensitivity metric to identify layers that benefit from federation. This metric, inspired by model pruning, quantifies each layer's contribution to cross-client generalization after the first training epoch, identifying a transition point in the network where the benefits of federation diminish. We first demonstrate that our federation sensitivity metric shows strong correlation with established generalization measures across diverse architectures. Next, we show that PLayer-FL outperforms existing FL algorithms on a range of tasks, also achieving more uniform performance improvements across clients.
• Abstract（参考訳）: 非ID分散データは、フェデレートラーニング(FL)において大きな課題である。 パーソナライズされたFLは、局所モデル適応とグローバルモデル一貫性のバランスをとることでこの問題に対処する。 1つの変種である部分FLは、初期層のみが初期層のみをフェデレーションすることによって、より移行可能な特徴を学習する、という観察を活用する。 しかし、現在の部分FLアプローチでは、特定のレイヤを選択するために、所定のアーキテクチャ固有のルールを使用しており、適用性が制限されている。 本稿では、新しいフェデレーション感度指標を用いて、フェデレーションの恩恵を受けるレイヤを同定する原理的レイヤワイズFL(PLayer-FL)を提案する。 この計量は、モデルプルーニングにインスパイアされ、最初の訓練の後に各層のクロスクライアント一般化への貢献を定量化し、フェデレーションの利点が減少するネットワークの遷移点を特定する。 まず, フェデレーション感度測定値が, 多様なアーキテクチャにまたがる確立された一般化尺度と強い相関を示すことを示す。 次に、PLayer-FLが既存のFLアルゴリズムを様々なタスクで上回り、クライアント間でより均一な性能向上を実現していることを示す。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Understanding the Role of Layer Normalization in Label-Skewed Federated Learning [15.19762600396105]
  階層正規化(Layer normalization, LN)は、特に基礎モデルの時代に広く採用されているディープラーニング技術である。 本研究では,フェデレート学習における階層正規化とラベルシフト問題との深い関係を明らかにする。 その結果,FNは学習速度の選択に頑健でありながら,FLの収束性を大幅に向上させる上で,LN内の必須成分であることが確認された。
  論文  参考訳（メタデータ） (2023-08-18T13:57:04Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
  大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-19T06:00:05Z)
• FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning [15.665720478360557]
  フェデレートラーニング(FL)は、分散ラーニングのための効率的でプライバシー保護されたスキームとして普及している。 我々は,異なるタイプのディープラーニングモデルに対して,モデルに依存しない,普遍的なFLプルーニングフレームワークであるFedLP(Federated Layer-wise Pruning)を定式化する。
  論文  参考訳（メタデータ） (2023-03-11T09:57:00Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。