論文の概要: Global Convergence of Federated Learning for Mixed Regression

• arxiv url: http://arxiv.org/abs/2206.07279v1
• Date: Wed, 15 Jun 2022 03:38:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 06:25:09.825742
• Title: Global Convergence of Federated Learning for Mixed Regression
• Title（参考訳）: 混合回帰のための連合学習のグローバル収束
• Authors: Lili Su, Jiaming Xu, Pengkun Yang
• Abstract要約: 本稿では,クライアントがクラスタ構造を示す場合のフェデレートラーニングにおけるモデルトレーニングの問題について検討する。 我々の分析における重要な革新はクラスタリングに関する一様見積であり、一般的な概念クラスを束縛することでVC次元を束縛することで証明する。
• 参考スコア（独自算出の注目度）: 17.8469597916875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the problem of model training under Federated Learning when clients exhibit cluster structure. We contextualize this problem in mixed regression, where each client has limited local data generated from one of $k$ unknown regression models. We design an algorithm that achieves global convergence from any initialization, and works even when local data volume is highly unbalanced -- there could exist clients that contain $O(1)$ data points only. Our algorithm first runs moment descent on a few anchor clients (each with $\tilde{\Omega}(k)$ data points) to obtain coarse model estimates. Then each client alternately estimates its cluster labels and refines the model estimates based on FedAvg or FedProx. A key innovation in our analysis is a uniform estimate on the clustering errors, which we prove by bounding the VC dimension of general polynomial concept classes based on the theory of algebraic geometry.
• Abstract（参考訳）: 本稿では,クライアントがクラスタ構造を示す場合のフェデレートラーニングにおけるモデルトレーニングの問題について検討する。 混合回帰では、各クライアントは、k$未知の回帰モデルから生成されるローカルデータに制限がある。 私たちは、任意の初期化からグローバル収束を達成するアルゴリズムを設計し、局所的なデータボリュームが高度にバランスの取れていない場合でも動作する -- $o(1)$データポイントのみを含むクライアントが存在する可能性がある。 我々のアルゴリズムはまずいくつかのアンカークライアント(それぞれ$\tilde{\omega}(k)$データポイント)でモーメント降下を行い、粗いモデル推定を得る。 次に、各クライアントはクラスタラベルを交互に推定し、FedAvgまたはFedProxに基づいてモデル推定を洗練します。 解析における重要な革新はクラスタリング誤差の均一な推定であり、代数幾何学の理論に基づいて一般多項式概念クラスのVC次元を有界にすることで証明する。

関連論文リスト

• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Robust One Round Federated Learning with Predictive Space Bayesian Inference [19.533268415744338]
  クライアントの予測後部を用いて,グローバルな予測後部を近似する方法を示す。 本稿では,各クライアントでMCMCサンプリングを行い,局所的な後部推定を行い,それらを1ラウンドで集約し,大域的なアンサンブルモデルを得るアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-20T01:06:59Z)
• Rate-Distortion Theoretic Bounds on Generalization Error for Distributed Learning [9.00236182523638]
  本稿では,統計的分散学習アルゴリズムの一般化誤差の新しい上限を確立するために,レート歪み理論のツールを用いる。 境界は各クライアントのアルゴリズムの圧縮性に依存し、他のクライアントのアルゴリズムは圧縮されない。
  論文  参考訳（メタデータ） (2022-06-06T13:21:52Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Personalized Federated Learning via Convex Clustering [72.15857783681658]
  本稿では,局所凸型ユーザコストを用いた個人化フェデレーション学習のためのアルゴリズム群を提案する。 提案するフレームワークは,異なるユーザのモデルの違いをペナル化する凸クラスタリングの一般化に基づいている。
  論文  参考訳（メタデータ） (2022-02-01T19:25:31Z)
• Federated Gaussian Process: Convergence, Automatic Personalization and Multi-fidelity Modeling [4.18804572788063]
  textttFGPRは、プライバシー保護のための多要素データモデリングにおいて有望なアプローチであることを示す。 textttFGPRは幅広いアプリケーションで優れており、プライバシー保護のための多要素データモデリングにおいて有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2021-11-28T00:17:31Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。