論文の概要: FedFOR: Stateless Heterogeneous Federated Learning with First-Order Regularization

• arxiv url: http://arxiv.org/abs/2209.10537v1
• Date: Wed, 21 Sep 2022 17:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 15:14:41.189530
• Title: FedFOR: Stateless Heterogeneous Federated Learning with First-Order Regularization
• Title（参考訳）: fedfor: 一階正則化によるステートレス不均質フェデレーション学習
• Authors: Junjiao Tian, James Seale Smith, Zsolt Kira
• Abstract要約: フェデレートラーニング(FL)は、集中型データセンタでデータを収集することなく、ローカルクライアントにモデルトレーニングを配布することを目指している。 本稿では,グローバルなデータ分布の局所的な目的への一階述語近似を提案し,グローバルな更新の反対方向に直感的に更新をペナルティ化する。 我々のアプローチはクライアントサイズに非現実的な制限を課しておらず、ほとんどのFLアプリケーションで典型的なような、多数のクライアントからの学習を可能にします。
• 参考スコア（独自算出の注目度）: 24.32029125031383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) seeks to distribute model training across local clients without collecting data in a centralized data-center, hence removing data-privacy concerns. A major challenge for FL is data heterogeneity (where each client's data distribution can differ) as it can lead to weight divergence among local clients and slow global convergence. The current SOTA FL methods designed for data heterogeneity typically impose regularization to limit the impact of non-IID data and are stateful algorithms, i.e., they maintain local statistics over time. While effective, these approaches can only be used for a special case of FL involving only a small number of reliable clients. For the more typical applications of FL where the number of clients is large (e.g., edge-device and mobile applications), these methods cannot be applied, motivating the need for a stateless approach to heterogeneous FL which can be used for any number of clients. We derive a first-order gradient regularization to penalize inconsistent local updates due to local data heterogeneity. Specifically, to mitigate weight divergence, we introduce a first-order approximation of the global data distribution into local objectives, which intuitively penalizes updates in the opposite direction of the global update. The end result is a stateless FL algorithm that achieves 1) significantly faster convergence (i.e., fewer communication rounds) and 2) higher overall converged performance than SOTA methods under non-IID data distribution. Importantly, our approach does not impose unrealistic limits on the client size, enabling learning from a large number of clients as is typical in most FL applications.
• Abstract（参考訳）: フェデレートラーニング(FL)は、集中型データセンタにデータを集めることなく、ローカルクライアントにモデルトレーニングを配布することを目指している。 flの大きな課題は、(各クライアントのデータ分散が異なる)データの不均一性である。 データ不均一性のために設計された現在のSOTA FL法は、通常、非IIDデータの影響を制限するために正規化を課し、ステートフルなアルゴリズムである。 効果的ではあるが、これらのアプローチは少数の信頼できるクライアントのみを含むflの特別なケースでのみ使用できる。 クライアント数が大きい(エッジデバイスやモバイルアプリケーションなど)flのより典型的なアプリケーションでは、これらの手法は適用できないため、任意の数のクライアントで使用可能なヘテロジニアスflへのステートレスなアプローチが必要となる。 局所データの不均一性による局所更新の不整合をペナルティ化する一階勾配正規化を導出する。 具体的には,グローバルデータ分布の局所的目標への一階近似を導入し,グローバル更新の反対方向に直感的に更新を罰する。 最終的な結果はステートレスFLアルゴリズムで達成される 1) はるかに高速な収束(通信ラウンドを少なくする)と 2) 非IIDデータ分布下でのSOTA法よりも総合的な収束性能が高い。 重要なことは、我々のアプローチはクライアントサイズに非現実的な制限を課しておらず、ほとんどのFLアプリケーションで典型的な多くのクライアントから学習することが可能です。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms [29.636944156801327]
  複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。 Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。 より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
  論文  参考訳（メタデータ） (2023-05-26T19:25:49Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)
• FedProf: Optimizing Federated Learning with Dynamic Data Profiling [9.74942069718191]
  フェデレートラーニング(FL)は、分散データから学ぶためのプライバシ保護ソリューションとして大きな可能性を示している。 クライアントの大多数は、バイアス、ノイズ、あるいは無関係な低品質のデータのみを保有している。 本研究では,データプライバシを侵害することなくFLを最適化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-02T20:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。