論文の概要: Accelerating Heterogeneous Federated Learning with Closed-form Classifiers

• arxiv url: http://arxiv.org/abs/2406.01116v1
• Date: Mon, 3 Jun 2024 08:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 01:48:31.645955
• Title: Accelerating Heterogeneous Federated Learning with Closed-form Classifiers
• Title（参考訳）: 閉形式分類器を用いた不均一フェデレーション学習の高速化
• Authors: Eros Fanì, Raffaello Camoriano, Barbara Caputo, Marco Ciccone,
• Abstract要約: フェデレートラーニング(FL)手法は、しばしば非常に統計的に異質な設定で苦労する。 Fed3R(Federated Recursive Ridge Regression)を紹介する。 Fed3Rは統計的不均一性に免疫を持ち、クライアントのサンプリング順序に不変である。
• 参考スコア（独自算出の注目度）: 23.133964735844007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) methods often struggle in highly statistically heterogeneous settings. Indeed, non-IID data distributions cause client drift and biased local solutions, particularly pronounced in the final classification layer, negatively impacting convergence speed and accuracy. To address this issue, we introduce Federated Recursive Ridge Regression (Fed3R). Our method fits a Ridge Regression classifier computed in closed form leveraging pre-trained features. Fed3R is immune to statistical heterogeneity and is invariant to the sampling order of the clients. Therefore, it proves particularly effective in cross-device scenarios. Furthermore, it is fast and efficient in terms of communication and computation costs, requiring up to two orders of magnitude fewer resources than the competitors. Finally, we propose to leverage the Fed3R parameters as an initialization for a softmax classifier and subsequently fine-tune the model using any FL algorithm (Fed3R with Fine-Tuning, Fed3R+FT). Our findings also indicate that maintaining a fixed classifier aids in stabilizing the training and learning more discriminative features in cross-device settings. Official website: https://fed-3r.github.io/.
• Abstract（参考訳）: フェデレートラーニング(FL)手法は、しばしば非常に統計的に異質な設定で苦労する。 実際、非IIDデータ分布は、クライアントのドリフトとバイアスのあるローカルソリューション、特に最終分類層で発音され、収束速度と精度に悪影響を及ぼす。 この問題に対処するため、Fed3R(Federated Recursive Ridge Regression)を紹介します。 本手法は,事前学習した特徴を活かしたクローズド形式で計算されたリッジ回帰分類器に適合する。 Fed3Rは統計的不均一性に免疫を持ち、クライアントのサンプリング順序に不変である。 そのため、クロスデバイスシナリオでは特に有効である。 さらに、通信コストと計算コストの面では高速で効率的であり、競合他社よりも最大2桁少ないリソースを必要とする。 最後に、Fed3Rパラメータをソフトマックス分類器の初期化として利用し、任意のFLアルゴリズム(Fed3R with Fine-Tuning, Fed3R+FT)を用いてモデルを微調整する。 また, 定型分類器の維持は, デバイス間設定におけるトレーニングの安定化と, より差別的な特徴の学習に有効であることが示唆された。 公式サイト: https://fed-3r.github.io/.com

関連論文リスト

• FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning [27.782676760198697]
  フェデレートラーニング(FL)は、効果的なグローバルモデル開発のための重要なフレームワークとして登場した。 FLの主な課題はクライアントのドリフトであり、データの不均一性は分散した知識の集約を妨げる。 我々は,ドット回帰損失を用いた局所モデルアライメントを実現するFedDr+という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-04T14:34:13Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
  最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。 我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。 本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
  論文  参考訳（メタデータ） (2022-07-13T16:58:22Z)
• Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
  フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。 本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。 我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
  論文  参考訳（メタデータ） (2022-06-22T00:33:04Z)
• Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features [24.679535905451758]
  Federated Learning (FL)は、分散機械学習タスクのためのプライバシ保護ソリューションを提供する。 FLモデルの性能を著しく損なう難題の1つは、データ不均一性と長い尾分布の共起である。 We propose a novel privacy-serving FL method for heterogeneous and long-tailed data via Federated Re-training with Federated Features (CreFF)。
  論文  参考訳（メタデータ） (2022-04-28T10:35:11Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。