論文の概要: Federated Submodel Optimization for Hot and Cold Data Features

• arxiv url: http://arxiv.org/abs/2109.07704v4
• Date: Wed, 5 Apr 2023 12:38:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 16:54:04.740983
• Title: Federated Submodel Optimization for Hot and Cold Data Features
• Title（参考訳）: 熱・冷間データ機能のためのフェデレーションサブモデル最適化
• Authors: Yucheng Ding, Chaoyue Niu, Fan Wu, Shaojie Tang, Chengfei Lv, Yanghe Feng, Guihai Chen
• Abstract要約: 我々は,クライアントの非d.d.データに疎結合な特徴があり,特定のクライアントのローカルデータは通常,モデルのごく一部に限られる,フェデレート学習の基礎となる実践的データ特性について検討する。 データ分散のため、古典的なフェデレーション平均化(FedAvg)アルゴリズムやその変種は大幅に遅くなる。 フェデレートされたサブモデル平均化(FedSubAvg)を提案し、各モデルパラメータのグローバル更新の期待値がクライアントのローカル更新の平均値に等しいことを保証する。
• 参考スコア（独自算出の注目度）: 41.99190452773989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study practical data characteristics underlying federated learning, where non-i.i.d. data from clients have sparse features, and a certain client's local data normally involves only a small part of the full model, called a submodel. Due to data sparsity, the classical federated averaging (FedAvg) algorithm or its variants will be severely slowed down, because when updating the global model, each client's zero update of the full model excluding its submodel is inaccurately aggregated. Therefore, we propose federated submodel averaging (FedSubAvg), ensuring that the expectation of the global update of each model parameter is equal to the average of the local updates of the clients who involve it. We theoretically proved the convergence rate of FedSubAvg by deriving an upper bound under a new metric called the element-wise gradient norm. In particular, this new metric can characterize the convergence of federated optimization over sparse data, while the conventional metric of squared gradient norm used in FedAvg and its variants cannot. We extensively evaluated FedSubAvg over both public and industrial datasets. The evaluation results demonstrate that FedSubAvg significantly outperforms FedAvg and its variants.
• Abstract（参考訳）: 我々は,クライアントの非d.d.データに疎結合な特徴があり,特定のクライアントのローカルデータは通常,サブモデルと呼ばれるモデル全体のごく一部に限られる,フェデレート学習の基礎となる実践的データ特性について検討する。 データ分散のため、古典的なフェデレーション平均化(FedAvg)アルゴリズムまたはその変種は、グローバルモデルを更新する際に、各クライアントのサブモデルを除くフルモデルのゼロ更新が不正確に集約されるため、大幅に遅くなる。 そこで我々は,フェデレートされたサブモデル平均化(FedSubAvg)を提案し,各モデルパラメータのグローバル更新の期待値が,それに関与するクライアントのローカル更新の平均値に等しいことを保証する。 理論上、feedsubavg の収束速度は、要素ワイズ勾配ノルムと呼ばれる新しい計量の下で上界を導出することで証明した。 特に、この新しい計量はスパースデータに対するフェデレーション最適化の収束を特徴づけることができるが、従来の2乗勾配ノルムの計量はFedAvgとその変種では適用できない。 我々は、パブリックデータセットと産業データセットの両方についてfeedsubavgを広範囲に評価した。 評価の結果,FedSubAvgはFedAvgとその変種よりも有意に優れていた。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Learning with Manifold Regularization and Normalized Update Reaggregation [22.885899072143676]
  Federated Learning(FL)は、複数のクライアントが独自のデータセットを共有することなくグローバルモデルをトレーニングする、コラボレーティブな機械学習フレームワークである。 FLでは、クライアント間でのローカルデータによるモデルの不整合は、クライアント更新のほぼ直交性をもたらす。 我々は、新しい多様体モデル融合方式と、負の影響を緩和する新たなグローバルアップデートを採用することにより、FedMRURを提案する。
  論文  参考訳（メタデータ） (2023-11-10T08:14:27Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• FedHB: Hierarchical Bayesian Federated Learning [11.936836827864095]
  フェデレートラーニング(FL)に対する新しい階層的ベイズ的アプローチを提案する。 本モデルは階層ベイズモデルを用いてクライアントの局所データの生成過程を合理的に記述する。 ブロック座標FLアルゴリズムは、O(sqrtt)$の速度で目的の最適値に収束することを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:21:41Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning [5.882234707363695]
  Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらす フェデアンサンブルは確立されたFL法で容易に利用することができる。
  論文  参考訳（メタデータ） (2021-07-21T14:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。