論文の概要: Provably Personalized and Robust Federated Learning

• arxiv url: http://arxiv.org/abs/2306.08393v1
• Date: Wed, 14 Jun 2023 09:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 19:27:38.183282
• Title: Provably Personalized and Robust Federated Learning
• Title（参考訳）: 個人化とロバストなフェデレーション学習
• Authors: Mariel Werner, Lie He, Sai Praneeth Karimireddy, Michael Jordan, Martin Jaggi
• Abstract要約: 類似の目的を持ったクライアントのクラスタ化とクラスタ単位のモデル学習は、フェデレーション学習におけるパーソナライゼーションに対する直感的で解釈可能なアプローチである。 我々は、クライアント上の勾配が$K$の分布の1つに対応できる最適化問題として、パーソナライズされたフェデレーション学習を定式化する。 私たちのアルゴリズムは、勾配のごく一部が破壊されるビザンチンの環境では、確実に堅牢です。
• 参考スコア（独自算出の注目度）: 49.713409022180116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clustering clients with similar objectives and learning a model per cluster is an intuitive and interpretable approach to personalization in federated learning. However, doing so with provable and optimal guarantees has remained an open challenge. In this work, we formalize personalized federated learning as a stochastic optimization problem where the stochastic gradients on a client may correspond to one of $K$ distributions. In such a setting, we show that using i) a simple thresholding-based clustering algorithm, and ii) local client gradients obtains optimal convergence guarantees. In fact, our rates asymptotically match those obtained if we knew the true underlying clustering of the clients. Furthermore, our algorithms are provably robust in the Byzantine setting where some fraction of the gradients are corrupted.
• Abstract（参考訳）: 類似の目的を持ったクライアントのクラスタ化とクラスタ単位のモデル学習は、フェデレーション学習におけるパーソナライゼーションに対する直感的で解釈可能なアプローチである。 しかし、証明可能かつ最適な保証で実施することは、依然としてオープンな課題である。 本研究では、クライアント上の確率勾配がK$分布の1つに対応する確率最適化問題としてパーソナライズされたフェデレーション学習を形式化する。 そのような設定では、使用法を示す。 一 簡単なしきい値に基づくクラスタリングアルゴリズム、及び 二 ローカルクライアント勾配が最適収束保証を得ること。 実際、クライアントの真の基盤となるクラスタリングを知っていれば、当社のレートは漸近的に一致します。 さらに,我々のアルゴリズムは,勾配のごく一部が崩壊するビザンチン設定において,確実に頑健である。

関連論文リスト

• Emulating Full Client Participation: A Long-Term Client Selection Strategy for Federated Learning [48.94952630292219]
  本稿では,クライアントの完全参加によって達成されるパフォーマンスをエミュレートする新しいクライアント選択戦略を提案する。 1ラウンドで、クライアントサブセットとフルクライアントセット間の勾配空間推定誤差を最小化し、クライアントを選択する。 複数ラウンド選択において、類似したデータ分布を持つクライアントが選択される頻度に類似することを保証する、新しい個性制約を導入する。
  論文  参考訳（メタデータ） (2024-05-22T12:27:24Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning [14.196701066823499]
  フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。 我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。 本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-04-11T14:51:55Z)
• FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
  フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。 トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。 本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
  論文  参考訳（メタデータ） (2023-02-13T18:55:31Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Decentralized adaptive clustering of deep nets is beneficial for client collaboration [0.7012240324005975]
  分散ピアツーピア環境における個別のディープラーニングモデルを学習する際の課題について検討する。 我々のコントリビューションは、各クライアントがローカルタスクの類似度推定に基づいて有益な協調を見出すアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-17T15:38:31Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• On the Convergence of Clustered Federated Learning [57.934295064030636]
  統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。 本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-13T02:39:19Z)
• Federated Learning with Heterogeneous Data: A Superquantile Optimization Approach [0.0]
  我々は、不均一なデータを持つ個々のクライアントに対して、優れたパフォーマンスを確実に提供するように設計された、フェデレートされた学習フレームワークを提案する。 提案手法は,誤差の尾の統計を捉える水槽型学習訓練に基づく。
  論文  参考訳（メタデータ） (2021-12-17T11:00:23Z)
• An Efficient Framework for Clustered Federated Learning [26.24231986590374]
  本稿では,ユーザがクラスタに分散するフェデレーション学習(FL)の問題に対処する。 反復フェデレーションクラスタリングアルゴリズム(IFCA)を提案する。 ニューラルネットワークのような非分割問題では,アルゴリズムが効率的であることを示す。
  論文  参考訳（メタデータ） (2020-06-07T08:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。